小 P 周刊 Vol.11

小 P 为你送上本周值得一看的信息~

有意见、建议与吐槽，欢迎直接给小 P 留言哦~

点击链接即可打开对应网页。

---

学界前沿

Yann LeCun 提出对 AI 的大胆新设想

Yann LeCun 这位颇具盛名的科学家日前提出了对下一代 AI 的大胆新设想。

在这份文件里，他针对“机器如何能像人类和动物一样高效学习”、“机器怎样才能学会推理和计划”、“机器如何能够在多个抽象层次上学习感知和行动计划的表征”等问题提出了一个架构和训练范式，可以用于构建自主智能体。

这个架构结合了一些概念，如可配置的预测世界模型，通过内在动机驱动的行为，以及通过自我监督学习训练的分层联合嵌入架构等。

你可以在 OpenReview 上读到 LeCun 发表的原文。

Yandex 发布开源界最大的 GPT-Like 神经网络 YaLM 100B

Yandex 将其研发的 YaLM 语言模型系列用于旗下的 Alice 语音助手及 Yandex Search 等服务。日前，该公司将他们研发出的最大规模模型 YaLM 100B 免费发布在了 GitHub 上。该项目采用了 Apache 2.0 协议，允许研究与商用。

在 Yandex 发布的这篇文章 中，他们讲述了从训练 YaLM 100B 中得到的经验教训，包括：如何加速模型训练、如何处理散度 (divergence) 等。

OpenAI 讲述 DALL·E 2 的预训练缓解措施

为了减少图像生成模型有关的风险，OpenAI 采取了一些举措来避免生成的图像违反他们的内容条款。

在这篇文章中，OpenAI 重点介绍了这些举措中的一个——预训练缓解措施。该措施可以直接修改 DALL·E 2 学习的数据。考虑到 DALL·E 2 使用互联网上数以亿计的带标注图片进行训练，OpenAI 需要删除和调整其中一些图片的权重，来改变模型的学习内容。

这篇文章主要讲述了三个不同的预训练缓解措施：

1. 如何从 DALL·E 2 的训练数据集中过滤掉暴力和性的图像。这个措施可以避免模型根据输入的文本产生露骨的图像，也可以避免在输入与暴力和性无关的文本时，模型返回包含这些要素的图像。

2. OpenAI 发现过滤训练数据会放大偏见 (biases)，他们如何缓解这种影响。例如，如果没有这种缓解措施，在与原始数据集上训练的模型相比，在过滤后的数据上训练的模型有时会产生更多描绘男性的图像，而描绘女性的图像则较少。

3. OpenAI 发现 DALL·E 这样的模型有时可以重现用于训练的图像，而不是创造新的图像。在实践中，他们发现这种图像反刍是由在数据集中多次复制的图像引起的。OpenAI 通过删除与数据集中其他图像视觉相似的图像来缓解这一问题。

你可以在 OpenAI 的博客 读到这篇文章的原文。

基础技术

100 个常见的 NumPy 测试题

这个网站从面试题、邮件列表和文档里面，选出了 100 个常见问题，并配上答案，供大家练习。

这些问题被分为 1~3 星三个难度，不妨来测测你对 NumPy 的熟悉程度？

例如：

• 一星：求以下表达式的结果。

np.array(0) / np.array(0)np.array(0) // np.array(0)np.array([np.nan]).astype(int).astype(float)

• 一星：给定两个数列，求值的交集。（提示：使用 np.intersect1d）
• 二星：给定两个数组，shape 分别是 (1, 3) 和 (3, 1)。如何用迭代器计算它们的和？（提示：使用 np.nditer）
• 三星：计算矩阵的秩。（提示：使用 np.linalg.svd, np.linalg.matrix_rank）

设计哲学

代码注释的艺术，优秀代码真的不需要注释吗？

雷军曾经说过一句名言：“我没有写过诗，但有人说我写的代码像诗一样优雅。”相信这也是无数工程师的追求。而在追求这种优雅的过程中，是否写注释、怎么写注释也是绕不开的问题。

作者通过他实际接触过的代码，讲述了他对于注释的观点：通过为变量精准命名、代码层次切割等方法让代码通俗易懂，把注释留给那些复杂的业务逻辑、magic number 和对外 API 定义。

工具推荐

从动手做项目中学习语言

这个网站收集以学习为目的各种实战教程（比如自己动手写数据库、编译器等等），按照计算机语言进行分类，帮助读者快速查找可以自己动手做的简单项目。

通过拖拽在线生成 tkinter 界面代码

我们用 Python 写一些小工具时，常常会用到 tkinter 作为图形界面。本工具支持通过在网页上拖拽组件，所见即所得，自动生成 Python 代码。

该工具已发布在 GitHub 上。你可以在 Demo 页面 在线体验。

---

感谢阅读，欢迎在评论区留言讨论哦~

P.S. 如果喜欢本篇文章，请多多 点赞，让更多的人看见我们 :D

关注 公众号「SenseParrots」，获取人工智能框架前沿业界动态与技术思考。