“传感器包装的手套学习人类掌握的签名”

麻省理工学院的研究人员在解决各种物体时戴上传感器手套，制作了大量数据集，使人工智能系统可以通过触摸来识别物体。 这条新闻可以帮助机器人识别和操作物体，辅助假肢的设计。

研究人员开发了一种被称为可伸缩触觉手套( stag )的低价针织手套，几乎整个手装有约550个微传感器。 当人类以各种方式与物体相互作用时，各传感器就会捕捉压力信号。 神经互联网解析信号以学习与特定对象相关联的压力信号模式的数据集。 然后，系统利用该数据集对对象进行分类，用个别的感觉预测其权重，不需要视觉输入。

在nature发表的论文中，说明了汽水罐、剪刀、网球、勺子、笔、杯子等26个使用stag制作的普通物体的数据集。 数据集允许系统以76%的精度预测对象的身份。 这个系统还能预测大约60克以内的大多数物体的准确重量。

目前采用的类似的基于传感器的手套花费数千美元运行，但一般只包括约50个捕捉新闻的传感器。 stag生产的分辨率非常高，但市面上的材料总额约为10美元。

触觉传感系统可以与一直以来流传下来的计算机视觉和基于图像的数据集结合使用，使机器人更加人性化地理解与物体的相互作用。

因为有触觉反馈，人类能够很好地识别和解决物体。 我们一接触物体，就会感受到周围，意识到那是什么。 机器人没有那么丰富的反馈。 subramanian sundaram博士18岁，原研究生计算机科学与人工智能实验室( csail )。 我们希望机器人做做饭和其他家务等人类能做的事。 如果想让机器人做这些事件，他们必须能够很好地操作物体。

研究人员还利用数据集测量了对象交互中手领域之间的合作。 例如，采用食指中间关节的人很少采用拇指。 但是，索引和中指提示总是支持采用拇指。 我们第一次量化，表示如果我采用了我的一部分手，我有多大可能采用另一部分手，他说。

假肢制造商可以潜在地采用新闻选择放置压力传感器的最佳位置，定制假肢以应对人们经常交流的任务和物体。

在论文中添加sundaram的有csail博士后、petr kellnhofer和jun-yan zhu； csail研究生云珠里； antonio torralba，eecs教授，麻省理工学院- ibm watson ai研究所主任； wojciech matusik，电气工程和计算机科学副教授，计算制造小组负责人。

stag与导电性聚合物层叠，改变了对压力的抵抗力。 研究人员通过导电性聚合物薄膜的孔将导电丝从指尖缝合到手掌底部。 通过重叠螺丝的方法成为压力传感器。 戴手套的人感觉到，举起、握住、掉东西时，传感器会记录各点的压力。

线程通过手套连接到外部电路，外部电路将压力数据转换为触觉图。 这些图基本上是手上图形上生长和收缩点的短视频。 点表示压力点的位置，它们的大小表示力-点越大压力越大。

从这些地图中，研究人员通过与26个物体的相互作用，制作了约135，000个视频帧的数据集。 神经网络利用这些框架可以预测物体的身份和重量，提供人类掌握的知识。

为了识别物体，研究人员设计了卷积神经互联网( cnn )，一般用于将图像分类，并将特定的压力模式和特定的物体联系起来。 但是，诀窍是从各种类型的握柄中选择框架，从而获得对象齐全的画面。

这个想法模仿了人类可以用几种不同的方法抓握物体，以识别物体而不用视力。 同样，研究人员cnn从视频中最多选择了8个半随机帧，表示最不相似的把握。 例如，从下面开始，上面和把手拿着杯子。

但是，cnn不能只选择各视频中的几千个随机帧。 或者，你可能不会选择不同的握手。 相反，将相似的帧分组以生成对应于唯一捕获的不同集群。 然后，从每个群集中提取一个帧，并确保有代表性的样本。 然后，cnn利用在训练中学习到的接触模式，从选择的帧中对对象进行分类。

我们希望框架之间的差异最大化，以便为互联网提供最好的输入。 kellnhofer先生说。 每个群集中的所有帧都需要类似的签名。 这些签名表示抓住对象的类似方法。 从多个集群中采集样本，人类在交互式搜索对象时试图找到不同的抓持。

为了进行重量推测，从手指、拇指、所持物品和掉落物品的触觉地图中，制作了约11，600帧的个别数据集。 值得注意的是，cnn没有接受过测试框架的训练。 也就是说，你不能学习把重量和物体联系起来。 在测试中，在cnn中输入单个帧。 本质上，cnn检测物体重量引起的手周围的压力，忽略其他因素引起的压力，例如手的位置，防止物体滑落。 然后根据适当的压力计算重量。

该系统与已经位于机器人关节的传感器组合，测量扭矩和力，以便更好地预测物体的重量。 关节对预测体重很重要，但我们捕获的指尖和手掌也有重要的重量成分。 sundaram先生说。

本文：《“传感器包装的手套学习人类掌握的签名”》