当前位置:网站首页>小 P 周刊 Vol.11
小 P 周刊 Vol.11
2022-07-01 21:38:00 【SenseParrots】
小 P 为你送上本周值得一看的信息~
有意见、建议与吐槽,欢迎直接给小 P 留言哦~
点击链接即可打开对应网页。
学界前沿
Yann LeCun 提出对 AI 的大胆新设想
Yann LeCun 这位颇具盛名的科学家日前提出了对下一代 AI 的大胆新设想。
在这份文件里,他针对“机器如何能像人类和动物一样高效学习”、“机器怎样才能学会推理和计划”、“机器如何能够在多个抽象层次上学习感知和行动计划的表征”等问题提出了一个架构和训练范式,可以用于构建自主智能体。
这个架构结合了一些概念,如可配置的预测世界模型,通过内在动机驱动的行为,以及通过自我监督学习训练的分层联合嵌入架构等。
你可以在 OpenReview 上读到 LeCun 发表的原文。
Yandex 发布开源界最大的 GPT-Like 神经网络 YaLM 100B
Yandex 将其研发的 YaLM 语言模型系列用于旗下的 Alice 语音助手及 Yandex Search 等服务。日前,该公司将他们研发出的最大规模模型 YaLM 100B 免费发布在了 GitHub 上。该项目采用了 Apache 2.0 协议,允许研究与商用。
在 Yandex 发布的这篇文章 中,他们讲述了从训练 YaLM 100B 中得到的经验教训,包括:如何加速模型训练、如何处理散度 (divergence) 等。
OpenAI 讲述 DALL·E 2 的预训练缓解措施
为了减少图像生成模型有关的风险,OpenAI 采取了一些举措来避免生成的图像违反他们的内容条款。
在这篇文章中,OpenAI 重点介绍了这些举措中的一个——预训练缓解措施。该措施可以直接修改 DALL·E 2 学习的数据。考虑到 DALL·E 2 使用互联网上数以亿计的带标注图片进行训练,OpenAI 需要删除和调整其中一些图片的权重,来改变模型的学习内容。
这篇文章主要讲述了三个不同的预训练缓解措施:
如何从 DALL·E 2 的训练数据集中过滤掉暴力和性的图像。这个措施可以避免模型根据输入的文本产生露骨的图像,也可以避免在输入与暴力和性无关的文本时,模型返回包含这些要素的图像。
OpenAI 发现过滤训练数据会放大偏见 (biases),他们如何缓解这种影响。例如,如果没有这种缓解措施,在与原始数据集上训练的模型相比,在过滤后的数据上训练的模型有时会产生更多描绘男性的图像,而描绘女性的图像则较少。
OpenAI 发现 DALL·E 这样的模型有时可以重现用于训练的图像,而不是创造新的图像。在实践中,他们发现这种图像反刍是由在数据集中多次复制的图像引起的。OpenAI 通过删除与数据集中其他图像视觉相似的图像来缓解这一问题。
你可以在 OpenAI 的博客 读到这篇文章的原文。
基础技术
100 个常见的 NumPy 测试题
这个网站从面试题、邮件列表和文档里面,选出了 100 个常见问题,并配上答案,供大家练习。
这些问题被分为 1~3 星三个难度,不妨来测测你对 NumPy 的熟悉程度?
例如:
- 一星:求以下表达式的结果。
np.array(0) / np.array(0)np.array(0) // np.array(0)np.array([np.nan]).astype(int).astype(float)
- 一星:给定两个数列,求值的交集。(提示:使用
np.intersect1d
) - 二星:给定两个数组,shape 分别是
(1, 3)
和(3, 1)
。如何用迭代器计算它们的和?(提示:使用np.nditer
) - 三星:计算矩阵的秩。(提示:使用
np.linalg.svd, np.linalg.matrix_rank
)
设计哲学
代码注释的艺术,优秀代码真的不需要注释吗?
雷军曾经说过一句名言:“我没有写过诗,但有人说我写的代码像诗一样优雅。”相信这也是无数工程师的追求。而在追求这种优雅的过程中,是否写注释、怎么写注释也是绕不开的问题。
作者通过他实际接触过的代码,讲述了他对于注释的观点:通过为变量精准命名、代码层次切割等方法让代码通俗易懂,把注释留给那些复杂的业务逻辑、magic number 和对外 API 定义。
工具推荐
从动手做项目中学习语言
这个网站收集以学习为目的各种实战教程(比如自己动手写数据库、编译器等等),按照计算机语言进行分类,帮助读者快速查找可以自己动手做的简单项目。
通过拖拽在线生成 tkinter 界面代码
我们用 Python 写一些小工具时,常常会用到 tkinter
作为图形界面。本工具支持通过在网页上拖拽组件,所见即所得,自动生成 Python 代码。
该工具已发布在 GitHub 上。你可以在 Demo 页面 在线体验。
感谢阅读,欢迎在评论区留言讨论哦~
P.S. 如果喜欢本篇文章,请多多 点赞,让更多的人看见我们 :D
关注 公众号「SenseParrots」,获取人工智能框架前沿业界动态与技术思考。
边栏推荐
猜你喜欢
随机推荐
4. 对象映射 - Mapping.Mapstercover
BC35&BC95 ONENET MQTT(旧)
PCB线路板塞孔工艺的那些事儿~
杰理之烧录上层版物料需要【篇】
leetcode刷题:栈与队列01(用栈实现队列)
安装mysql时出现:需要这两个包perl(Data::Dumper),perl(JSON)
统计字符中每个字符出现的个数
leetcode刷题:栈与队列06(前 K 个高频元素)
【opencv】train&test HOG+SVM
“丝路正青春 风采看福建”在闽外籍青年短视频大赛火热征集作品中
浏览器tab页之间的通信
一次调试去了解redis集群的slot机制
I received a letter from CTO inviting me to interview machine learning engineer
2022年高处安装、维护、拆除考题模拟考试平台操作
【深度学习】利用深度学习监控女朋友的微信聊天?
薛定谔的日语学习小程序源码
2022安全员-B证考试练习题模拟考试平台操作
从MLPerf谈起:如何引领AI加速器的下一波浪潮
Introduction and download of the latest version of airserver2022
上半年暂停考试要补考?包含监理工程师、建筑师等十项考试