当前位置:网站首页>AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务...
AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务...
2022-07-06 15:40:00 【QbitAl】
羿阁 发自 凹非寺
量子位 | 公众号 QbitAI
模型越大、表现越差反而能获奖?
奖金总计25万美金(折合人民币167万)?
这样“离谱”的事情还真就发生了,一个名叫Inverse Scaling Prize(反规模效应奖)的比赛在推特上引发热议。
该比赛由纽约大学的7位研究人员共同举办。
发起人Ethan Perez表示,本次比赛的主要目的,是希望能找到哪些任务会让大模型表现出反规模效应,从而找出当下大模型预训练中存在的一些问题。
现在,该比赛正在接收投稿中,第一轮投稿将截止到2022年8月27日。
比赛动机
人们似乎默认,随着语言模型越来越大,运行效果也会越来越好。
然而,大型语言模型并非没有缺陷,例如种族、性别和宗教偏见问题,以及产生一些模糊的错误信息等。
规模效应表明,随着参数数量、使用的计算量和数据集大小的增加,语言模型会变得更好(就测试损失和下游性能而言)。
我们假设有些任务的趋势是相反的:随着语言模型的测试损失的提高,任务性能变得单调、效果变得糟糕,我们将这种现象称为反规模效应,与规模效应相反。
本次比赛旨在寻找更多的反规模效应任务,分析哪些类型的任务容易表现出反规模效应,尤其是那些对安全性要求高的任务。
同时,反规模效应任务还将有助于研究当前语言模型预训练和规模范式中潜在的问题。
随着语言模型越来越多地应用于现实世界的应用程序,这项研究的现实意义也在增强。
对反规模效应任务的收集,将有助于降低大型语言模型带来不良后果的风险,并预防伤害到现实用户。
网友争议
但针对这项比赛,有些网友提出了不同的看法:
我认为这是一种误导。因为它假设模型是静态的,并且在经过预训练后停止。
这更多的是一个在参数更多的标准语料库上进行预训练的问题,而不是模型大小的问题。
软件工程师James对该观点表示赞同:
是的,这整件事都是骗局。任何小型模型可以学习的东西,大型模型也可以。
小模型的偏差更大,因此“热狗不是热狗”在小模型中可能被识别为100%对的,而当大模型认识到可以将蛋糕制作成类似于热狗时,准确率会下降到 98%。
James甚至还进一步提出了“阴谋论”的看法:
也许这整件事就是一个骗局——让人们努力干活,并且展示遇到棘手任务时的训练数据,该经验会被大型模型所吸收,大型模型最终会更好。
因此他们不需要给奖金,还会得到一个更好的大型模型。
对此,发起人Ethan Perez在评论里这样写道:
澄清一下,该奖项的重点是寻找会导致反规模效应的语言模型预训练中,从未或很少见过的类别。
这只是使用大型模型的一种方法。还有许多其他能导致反规模效应的设置,没有涵盖在我们的奖项里。
比赛规则
根据参赛者提交的任务,赛方将会构建一个包含至少300个示例的数据集,并使用GPT-3/OPT进行测试。
该比赛的评选将由一个匿名评审小组来完成。
评审们将从反规模效应的强度、通用性、新颖性、再现性、涵盖范围以及任务的重要性6个方面考量,对提交作品进全方位的审核,最终评出一等奖、二等奖和三等奖。
奖金设置如下:
一等奖最多1位,10万美金;
二等奖最多5位,每人2万美金;
三等奖最多10位,每人5000美金。
比赛已于6月27日开始,8月27日将进行第一轮评估,10月27日开始进行第二轮评估。
发起人Ethan Perez
发起人Ethan Perez是一名科学研究人员,一直致力于大型语言模型的研究。
Perez在纽约大学获得自然语言处理专业博士学位,此前曾在 DeepMind、Facebook AI Research、Mila(蒙特利尔学习算法研究所)和谷歌工作过。
参考链接:
1、https://github.com/inverse-scaling/prize
2、https://twitter.com/EthanJPerez/status/1541454949397041154
3、https://alignmentfund.org/author/ethan-perez/
— 完 —
「量子位·视点」直播报名
什么是“智能决策”?智能决策的关键技术是什么?它又将如何打造引领企业二次增长的“智能抓手”?
7月7日周四,参与直播,为你解答~
点这里关注我,记得标星哦~
边栏推荐
- Station B boss used my world to create convolutional neural network, Lecun forwarding! Burst the liver for 6 months, playing more than one million
- Cloud native technology container knowledge points
- 案例推荐丨安擎携手伙伴,保障“智慧法院”更加高效
- TDengine 社区问题双周精选 | 第二期
- Coscon'22 community convening order is coming! Open the world, invite all communities to embrace open source and open a new world~
- 食品里的添加剂品种越多,越不安全吗?
- spark调优(二):UDF减少JOIN和判断
- Typescript get function parameter type
- 专为决策树打造,新加坡国立大学&清华大学联合提出快速安全的联邦学习新系统
- Two week selection of tdengine community issues | phase II
猜你喜欢
Dayu200 experience officer homepage AITO video & Canvas drawing dashboard (ETS)
mysql拆分字符串作为查询条件的示例代码
(shuttle) navigation return interception: willpopscope
Method of canceling automatic watermarking of uploaded pictures by CSDN
MySQL数据库之JDBC编程
Aardio - does not declare the method of directly passing float values
专为决策树打造,新加坡国立大学&清华大学联合提出快速安全的联邦学习新系统
Les entreprises ne veulent pas remplacer un système vieux de dix ans
Bipartite graph determination
Custom swap function
随机推荐
View
专为决策树打造,新加坡国立大学&清华大学联合提出快速安全的联邦学习新系统
Children's pajamas (Australia) as/nzs 1249:2014 handling process
Isomorphism + cross end, knowing applet +kbone+finclip is enough!
Cover fake big empty talk in robot material sorting
Pytest unit test series [v1.0.0] [pytest execute unittest test case]
Coscon'22 community convening order is coming! Open the world, invite all communities to embrace open source and open a new world~
Traversal of a tree in first order, middle order, and then order
Bipartite graph determination
存币生息理财dapp系统开发案例演示
监控界的最强王者,没有之一!
Is "applet container technology" a gimmick or a new outlet?
Matlab tips (27) grey prediction
[untitled]
How to choose indoor LED display? These five considerations must be taken into account
Precise drag and drop within a contentable
Face recognition class attendance system based on paddlepaddle platform (easydl)
Two week selection of tdengine community issues | phase II
【Unity】升级版·Excel数据解析,自动创建对应C#类,自动创建ScriptableObject生成类,自动序列化Asset文件
Spark Tuning (II): UDF reduces joins and judgments