当前位置：网站首页>智源社区周刊＃86：Gary Marcus谈大模型研究可借鉴的三个语言学因素；谷歌提出媲美Imgen的文生图模型Parti；OpenAI提出视频预训练模型VPT，可玩MC游戏

智源社区周刊＃86：Gary Marcus谈大模型研究可借鉴的三个语言学因素；谷歌提出媲美Imgen的文生图模型Parti；OpenAI提出视频预训练模型VPT，可玩MC游戏

2022-06-24 12:59:00 【智源社区】

汇聚每周必看AI观点、研究和各类资源，不错过一条重要资讯！欢迎点击这里，订阅智源社区AI周刊。

观点

“如果我们要关注到预训练大模型缺失的要素，应该关注以下三个关键因素：
1.参考（Reference）:词语和句子并不是孤立存在的。语言是词语/句子与外部世界之间的联系，而大型语言模型中的单词序列及其缺乏与外部世界的联系。
2.认知模型（Cognitive models）：语言系统的最终目标是更新对于世界的，持续但动态的感知。大模型并不产生这样的认知模型，至少没有产生人们能够可靠地加以使用的这种认知。
3.组成（Compositionality）：复杂的整体，在大多数情况下，能够系统地解释其所在的部分，以及这些部分如何组织在一起的方式。像DALL-E这样的系统在涉及组成的问题时，面临显著的挑战。例如，GPT......不能产生反映句子之间结构关系的、可解释的表示。”

——近日，在谈到预训练大模型的缺陷时，纽约大学教授Gary Marcus认为可以从语言学中学到三个重要因素。（延伸阅读）

“（在本文中）我提出了名为智能体的通用模型（Common Model of the Intelligent Agent）这一概念，这种决策者（Decision Maker）可以实质性且广泛地应用于心理学、人工智能、经济学、控制理论和神经科学等多个学科......这种通用模型包括多个方面：决策者与其直接的交互，需要有输入、输出和目标，以及决策者内部的系统构成，用于感知、决策、内部评估，以及一个世界模型。我注意到它们在不同的学科中有着不同的名字，但是本质上是同样的概念......现在是时候认可并构建一个实质性的通用智能体模型，能够横跨并融合多个领域了。”

——在今年的一篇新论文中，强化学习之父Richard Sutton提出了智能决策者的通用模型思路，认为能够统一多个学科领域的研究。（延伸阅读）

科学家动态

德克萨斯州大学奥斯汀分校教授Scott Aaronson入职OpenAI

6月20日，德克萨斯州大学奥斯汀分校教授Scott Aaronson宣布将在OpenAI工作一年，其主要职责是思考人工智能安全和对齐（AI Safety and Alignment）的理论基础。Scott Araonson是德克萨斯大学奥斯汀分校计算机科学教授，担任量子信息中心主任，他的研究领域包括量子计算机的性能与局限，更广义的计算复杂度理论等。2020年他因在量子计算领域的贡献获得ACM计算奖。

AI2 CEO Oren Etzioni即将卸任，董事会已开始招募继任者

Oren Etzioni是华盛顿大学的荣誉教授，曾任计算机科学与工程系的教授。目前他将继续担任首席执行官至今年9月30日，之后担任董事会成员和顾问。AI2是由已故微软联合创始人Paul Allen于2014年在美国创建的一家人工智能研究机构，开展包括NLP等在内的人工智能研究和工程项目，知名项目包括学术搜索引擎Semantic Scholar等。