有限训练样本下基于深度领域自适应的机器人物体抓取

王宗伟

（1.中国科学院上海微系统与信息技术研究所上海200050；2.上海科技大学上海201210；3.中国科学院大学北京100049）

在受限环境下，给定一个或多个物体作为输入，机器人旨在寻求最大化抓取成功概率的机器爪配置。但是，因为待抓取物体的形状各异、摆放姿态不同、周围感知环境类似光照条件的变化等因素的干扰使该问题非常具有挑战性。近年来，视觉感知的方法[1-8]在机器人抓取问题上正在吸引越来越多的注意。简单地说，这些方法从训练样本中学习一个预测抓取角度和位置的模型。因为每个物体的抓取角度并不唯一，人工标注这些样本将耗费大量时间和人力。此外，人工也不可能将所有可能的抓取角度都标注出来。一种替代方法是通过机器人物理实验[5]或者仿真的方法[9]来收集样本。这种方法可以半自动化，节省了大量的人力，但对于未曾出现在训练集里的样本，抓取成功率会下降很多。

为了克服上文提到的问题，本文引入深度领域自适应（deep domain adaptation）的方法将在已经标注的外部数据集上学到的抓取知识迁移到待抓取的新物体上。为描述方便起见，在本文中，我们称已经被标注的大量样本集叫做“源域”（source domain），被标注的待抓取物体组成的少量样本集叫做“目标域”（target domain）。

1 相关研究

1.1 抓取规划（Grasp Planning）

机器人抓取是物体操纵领域研究最为广泛的一个课题。一般来说，目前抓取的方法可以分为两种，一种是几何驱动的，另一种是数据驱动的。其中几何驱动方法在早期的研究中较为常见。给定待抓取物体的三维模型，几何驱动的模型使用解析方法计算最合适的抓取配置[10]。这种方法的难点在于怎样理解给定场景下物体姿态的几何特性。为了与数据库中的物体模型进行匹配，点云注册是必须的。然而，感知物体姿态本身就是一个很难的课题，而且对于不在数据库中的新物体，还需要为其新建一个三维模型。

另一条路线是使用机器学习技术学习一个从图片或者深度信号到抓取配置的映射。相比于人工设计的特征，深度神经网络能够学习到更加复杂、更抽象的表征[11]，使用深度学习技术能够大幅提高抓取性能。自然地，机器学习方法都需要大量的训练样本，如引言所述，收集到大量样本很困难。其中文献[5]利用机器人真实抓取实验获取了4万多的样本，但样本分布很不均衡，负样本个数明显多于正样本。

1.2 领域自适应（Domain Adaptation）学习

给 定 source domain和 target domain，source domain拥有大量已经标注的数据，target domain拥有较少的或者没有标注数据，source domain和target domain分布不同。领域自适应学习应意在缩小二者分布上的差异、最大化二者之间的共有特性，并将在source domain学到的知识迁移到target domain，达到提升模型在target domain上性能的目的[12-15]。领域自适应学习在计算机视觉领域已经被研究多年，近来随着深度学习的发展，deep domain adaptation方法的性能最优，已被广泛应用。然而本文是第一次将deepdomain adaptation方法引入机器人抓取问题上，并针对机器人抓取问题提出了新的目标函数。

2 方法

本部分首先回顾机器人抓取问题的定义，然后为了减少过拟合的风险，我们用softmax分类器替换多个二分类器，最后我们将深度领域自适应方法引入到机器人抓取问题上。

2.1 机器人抓取问题回顾

依据文献[5]，机器人抓取仿真的定义如下：给定一张图片，对于其中的特定物体，预测其最可能成功的抓取角度θ。因为θ是连续的，自然地这是一个回归问题。但是回归θ很困难，原因如下：1）因为抓取速度的问题，很难采样足够多的、穷尽所有角度的样本；2）对一个特定物体而言也存在着多种抓取角度。为了简化这个问题，θ被平均分成K个区间，具体来说，图像中的物体首先被裁剪出来然后被送到一个卷积神经网络中（CNN）去，在这个网络的最后一层输出，我们估计一个K维的概率向量，其中第k维表示这个物体能够在θk抓取成功的概率。

2.2 softmax角度回归

一次成功的物体抓取依赖于3个因素：精准的物体定位、正确的抓取角度预测和精密的机器爪。假定物体定位和机器爪都是理想的，那么预测一个合适的抓取角度变成了问题的核心。在我们的实验中，我们发现通过上述描述的目标函数训练的模型经常给出错误的角度预测。原因在于公式（2）假定一个物体存在多个抓取可能并试图训练多个，比如K个二值分类器，但在只有少量训练样本的情况下，每个分类器只能分得1/K的样本，因此模型很容易陷入过拟合。

为了解决这个问题，我们用一个多分类器softmax替代多个二值分类器。尽管一个物体可能存在多个合适的抓取角度，但我们限制一个物体只有一个最合适的抓取角度。这样做的好处是所有的训练样本都是softmax分类器的输入，降低了过拟合的风险。用softmax回归抓取角度的目标函数如下：

2.3 领域自适应机器人抓取

依赖于学习的模型通常需要大量的训练数据，深度学习对数据的需求尤为明显。对机器人抓取来说，在实际中，我们很容易从收集到大量公共数据，然而对我们要抓取的物体来说，手头数据一般不足。只用我们自己的待抓取物体或者使用公共数据作为训练集都不是最优的选择。原因是前者会导致训练的模型在训练集上严重过拟合，泛化性能不佳，而因为数据分布上的差异，后者得到的模型在待抓取物体上性能会下降很多。为了充分利用公共数据和我们自己收集的数据，我们引入深度领域自适应的方法。

2.3.1 source domain与target domain的差异

在有关domain adaptation的研究中，最大平均差异（maximum mean discrepancy，MMD）经常被用来度量source domain与target domain之间的差异。MMD计算source data与target data在特征空间上各自均值之间的欧式距离。为了降低特征维度，像文献[17]那样，我们在网络的最后一层之上添加一层特征适应层（feature adaptation layer，fc_adapt）。给定两个抓取角度相同的物体，我们强制训练的模型预测相同的抓取角度，不管他们来自哪个域。现在我们正式定义angle-wise MMD损失函数如下：

2.3.2 保留target domain的判别能力

文献[18]表明当神经网络由浅入深时，学到的特征会从一般变的越来越跟任务相关。在我们的设计中，fc_adapt是倒数第二层，因此source domain和target domain在这一层不共享参数，他们在这一层的特征分别用fc_adapt_s和fc_adapt_t表示。这样一来，fc_adapt_t保留了target domain的判别能力。

遵循以上两条原则，我们设计的网络结构如图1所示。

图1 网络结构图

2.4 目标函数

训练过程分为两个阶段，第一阶段与文献[5]相同，公式（2）作为我们的目标函数，训练过程是在source数据集上完成的。训练的模型用于机器人抓取实验的物体定位。一旦我们得到了准备的物体定位，抓取成功就依赖角度预测了。领域自适应下抓取角度预测的目标函数如下：

其中λ是一个超参数，它控制着两个域之间的混合程度以及我们希望目标域在多大程度上保存它自身的区分度与判别能力。

3 实验

3.1 训练集

我们使用文献[5]公开的数据集作为源数据集，自己收集的作为目标数据集。将训练、验证和测试样本合并后，源数据集总共有6266个正样本和44301个负样本。目标数据集共有5064个正样本，其中4078个被用于训练，剩下的作为测试集。所有图像的大小被调整到227×227，而且都减去均值（104，117，124）。需要注意的是当我们采用公式（5）作为我们的目标函数时，只有正样本参与模型训练。

3.2 训练和评估设置

这部分比较deep domain adaptation方法与其他基础实验在测试集上的性能。我们考虑了4种基础实验：source only（只用source data训练），target only（只用target data训练），mixed（将source data与target data混在一起训练），finetune（先在source data上预训练，再在target data上微调）。这4个实验全部使用公式（3）作为目标函数。

实验全都基于Tensorflow实现。在所有的实验中，学习率都设定为2.5e-3，K=18，也即是我们将180度平均分成18个区间。SGD优化器被采用，batch size为144我们依据模型在测试集上的最好表现来选取fc_adapt的维度，最终其维度被设定为128。给定测试样例，我们依据如下标准如下度量模型性能：‖θ̂-θ‖1≤1。其中θ̂是模型预测的角度，θ是标定真实角度。因为机器爪的精度原因，误差在10度内都是可以被接受的。

实验结果如表1所示。从中可以看出domain adaptation的性能最佳，超过target only2.84个百分点。

表1 各方法测试结果

4 结论

本文将domain adaptation方法引入到机器人抓取领域，并提出将多个二分类器用一个多分类器替代的方案。该方案一是有效减少了模型过拟合的风险，二是可以充分利用公共数据和我们自己采集的数据，将在source domain学到的抓取知识迁移到target domain，实验结果证实了该方案可以提高机器人抓取的成功率。