李飞飞划重点的「具身智能」，走到哪一步了？

李飞飞在前段时间的一篇文章中，指出了计算机视觉未来的几个重要方向，其中最重要的便是具身智能，认为将成为 AI 领域的下一个「北极星问题」之一。最近Quanta magazine出了一篇报道对具身智能的研究进展等进行详细分析。摘录要点如下：

「具身 智能」这种智能体不仅能接收来自数据集的静态图像，还能在三维虚拟世界的模拟环境中四处移动，并与周围环境交互。

这是一个被称为「具身 AI」的新领域的广泛目标。它与机器人技术有所重叠，因为机器人可以看作是现实世界中具身 AI 智能体和强化学习的物理等价物。李飞飞等人认为，具身 AI 可能会给我们带来一次重大的转变，从识别图像等机器学习的简单能力，转变到学习如何通过多个步骤执行复杂的类人任务，如制作煎蛋卷。

到目前为止，衡量具身 AI 进展的一种简单方法是：将具身智能体的表现与在更简单的静态图像任务上训练的算法进行比较。研究人员指出，这些比较并不完美，但早期结果确实表明，具身 AI 的学习方式不同于它们的前辈，有时候比它们的前辈学得还好。

在最近的一篇论文《Interactron: Embodied Adaptive Object Detection》中，研究人员发现，一个具身 AI 智能体在检测特定物体方面更准确，比传统方法提高了近 12%。该研究的合著者、艾伦人工智能研究所计算机科学家 Roozbeh Mottaghi 表示，「目标检测领域花了三年多的时间才实现这种水平的改进。而我们仅通过与世界的交互就取得了很大的进步。」

其他论文已经表明，当你把目标检测算法做成具身 AI 的形式，并让它们探索一次虚拟空间或者随处走动收集对象的多视图信息时，该算法会取得进步。

研究人员还发现，具身算法和传统算法的学习方式完全不同。要想证明这一点，可以想想神经网络，它是每个具身算法和许多非具身算法学习能力背后的基本成分。神经网络由许多层的人工神经元节点连接而成，它松散地模仿人类大脑中的网络。在两篇独立的论文中，研究人员发现，在具身智能体的神经网络中，对视觉信息作出反应的神经元较少，这意味着每个单独的神经元在作出反应时更有选择性。非具身网络的效率要低得多，需要更多的神经元在大部分时间保持活跃。其中一个研究小组（由即将任纽约大学教授的 Grace Lindsay 领导）甚至将具身和非具身的神经网络与活体大脑中的神经元活动（老鼠的视觉皮层）进行了比较，发现具身的神经网路最接近活体。

Lindsay 很快指出，这并不一定意味着具身化的版本更好，它们只是不同。与物体检测论文不同的是，Lindsay 等人的研究比较了相同神经网络的潜在差异，让智能体完成了完全不同的任务，因此他们可能需要工作方式不同的神经网络来完成他们的目标。

虽然将具身神经网络与非具身神经网络相比是一种衡量改进的方法，但研究人员真正想做的并不是在现有的任务上提升具身智能体的性能，他们的真正目标是学习更复杂、更像人类的任务。这是最令研究人员兴奋的地方，他们看到了令人印象深刻的进展，尤其是在导航任务方面。在这些任务中，智能体必须记住其目的地的长期目标，同时制定一个到达目的地的计划，而不会迷路或撞到物体。

在短短几年的时间里，Meta AI 的一位研究主管、佐治亚理工学院计算机科学家 Dhruv Batra 领导的团队在一种被称为「point-goal navigation」的特定导航任务上取得了很大进展。在这项任务中，智能体被放在一个全新的环境中，它必须在没有地图的情况下走到某个坐标（比如「Go to the point that is 5 meters north and 10 meters east」）。

Batra 介绍说，他们在一个名叫「AI Habitat」的 Meta 虚拟世界中训练智能体，并给了它一个 GPS 和一个指南针，结果发现它可以在标准数据集上获得 99.9% 以上的准确率。最近，他们又成功地将结果扩展到一个更困难、更现实的场景——没有指南针和 GPS。结果，智能体仅借助移动时看到的像素流来估计自身位置就实现了 94% 的准确率。

‍

Meta AI Dhruv Batra 团队创造的「AI Habitat」虚拟世界。他们希望提高模拟的速度，直到具身 AI 可以在仅仅 20 分钟的挂钟时间内达到 20 年的模拟经验。

Mottaghi 说，「这是一个了不起的进步，但并不意味着彻底解决了导航问题。因为许多其他类型的导航任务需要使用更复杂的语言指令，比如「经过厨房去拿卧室床头柜上的眼镜」，其准确率仍然只有 30% 到 40% 左右。

但导航仍然是具身 AI 中最简单的任务之一，因为智能体在环境中移动时不需要操作任何东西。到目前为止，具身 AI 智能体还远远没有掌握任何与对象相关的任务。部分挑战在于，当智能体与新对象交互时，它可能会出现很多错误，而且错误可能会堆积起来。目前，大多数研究人员通过选择只有几个步骤的任务来解决这个问题，但大多数类人活动，如烘焙或洗碗，需要对多个物体进行长序列的动作。要实现这一目标，AI 智能体将需要更大的进步。

在这方面，李飞飞可能再次走在了前沿，她的团队开发了一个模拟数据集——BEHAVIOR，希望能像她的 ImageNet 项目为目标识别所做的那样，为具身 AI 作出贡献。

这个数据集包含 100 多项人类活动，供智能体去完成，测试可以在任何虚拟环境中完成。通过创建指标，将执行这些任务的智能体与人类执行相同任务的真实视频进行比较，李飞飞团队的新数据集将允许社区更好地评估虚拟 AI 智能体的进展。

一旦智能体成功完成了这些复杂的任务，李飞飞认为，模拟的目的就是为最终的可操作空间——真实世界——进行训练。

阅读更多详细报道