“Facebook的AI采用模式教机器人在不到10小时的训练中即可操纵对象”

双臂机器人如何完成开瓶任务？ 需要经常用一只手拉瓶底，另一只手拉瓶盖，拧。 这些高级步骤序列是所谓的模型，幸运的是，它们不受对象几何图形和空之间的状态的影响。 的好处是，与旨在通过学习策略处理任务的强化学习技术不同，模型不需要在几个小时、几个星期、几个月内提取数百万个样本。

最近，facebook ai research的团队试图使两个sawyer机械臂具有从库中选择适当步骤以实现目标的能力。 在每个时间步骤中，他们的主体必须决定采用什么技能，以及采用什么论据(例如，施加力的位置、力的大小或移动的目标姿态)。 尽管涉及许多复杂性，该小组表示，他们的做法提高了学习效率。 这是因为通过几个小时的训练可以发现操作技能。

小组的第一观点是，就多个任务而言，学习过程分为两个部分。 (1)学习任务模型；)2)选择适合不同技能的参数化战略。 他们主张，这种方法可以提高学习速度。 部分原因是可以使用来自特定任务不同版本的数据来提高共享技能。 然后他们说这将允许在相关任务之间转移学习的模式。

例如，假设您学习了一个好方案，可以采用长条进行模拟，访问对象的姿势、几何新闻等，还可以制作越来越多的副本。 这篇论文的共同作者详细地说明了它的工作。 之后，即使状态空和最佳参数化(夹持姿势等)有很大差异，也可以在相关任务中重复使用该模式，如从原始摄像机的注意力中选择现实世界的托盘等。 由于该模型是固定的，因此与在任务栏中提取任务的战略学习相比，您只需要学习每个技能的“与注意相关”论点，因此效果很好。

研究人员应将扭转、抬起、拉伸等通用技能库提供给上述两个机械臂，应用于与不同对象、几何形状、初始姿势相关的多个横向抬起、拾取、打开、旋转任务。 在mujoco (模拟环境)中，利用几何图形和主体感觉特性)关节位置、关节速度、末端执行器的姿势) )等低维输入数据进行训练，学习这些模式，在模拟和现实世界中。

实验中，sawyer手臂(搭载摄像头，由facebook的PY机器人开源机器人平台控制)的任务是操作滚子面棒、足球、玻璃罐、t形扳手等9个家用物品。 虽然需要向原始的视觉图像学习，但是据说系统通过约4到10个小时的训练，学会了使用000种技能来操作大多数项目，成功率超过了90%。

合作作者写道，研究了如何利用与状态无关的技能序列，大幅度提高无模型强化学习的样本效率。 另外，通过实验表明，将模拟中学习到的技能序列转移到现实世界的任务中，可以非常有效地应对图像中稀疏的报酬问题，从而使真正的机器人训练双手操作等许多复杂的技能成为可能。

本文：《“Facebook的AI采用模式教机器人在不到10小时的训练中即可操纵对象”》