当前位置:网站首页>AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务
AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务
2022-07-06 21:50:00 【量子位】
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI
模型越大、表现越差反而能获奖?
奖金总计25万美金(折合人民币167万)?
这样“离谱”的事情还真就发生了,一个名叫Inverse Scaling Prize(反规模效应奖)的比赛在推特上引发热议。
该比赛由纽约大学的7位研究人员共同举办。
发起人Ethan Perez表示,本次比赛的主要目的,是希望能找到哪些任务会让大模型表现出反规模效应,从而找出当下大模型预训练中存在的一些问题。
现在,该比赛正在接收投稿中,第一轮投稿将截止到2022年8月27日。
比赛动机
人们似乎默认,随着语言模型越来越大,运行效果也会越来越好。
然而,大型语言模型并非没有缺陷,例如种族、性别和宗教偏见问题,以及产生一些模糊的错误信息等。
规模效应表明,随着参数数量、使用的计算量和数据集大小的增加,语言模型会变得更好(就测试损失和下游性能而言)。
我们假设有些任务的趋势是相反的:随着语言模型的测试损失的提高,任务性能变得单调、效果变得糟糕,我们将这种现象称为反规模效应,与规模效应相反。
本次比赛旨在寻找更多的反规模效应任务,分析哪些类型的任务容易表现出反规模效应,尤其是那些对安全性要求高的任务。
同时,反规模效应任务还将有助于研究当前语言模型预训练和规模范式中潜在的问题。
随着语言模型越来越多地应用于现实世界的应用程序,这项研究的现实意义也在增强。
对反规模效应任务的收集,将有助于降低大型语言模型带来不良后果的风险,并预防伤害到现实用户。
网友争议
但针对这项比赛,有些网友提出了不同的看法:
我认为这是一种误导。因为它假设模型是静态的,并且在经过预训练后停止。 这更多的是一个在参数更多的标准语料库上进行预训练的问题,而不是模型大小的问题。
软件工程师James对该观点表示赞同:
是的,这整件事都是骗局。任何小型模型可以学习的东西,大型模型也可以。 小模型的偏差更大,因此“热狗不是热狗”在小模型中可能被识别为100%对的,而当大模型认识到可以将蛋糕制作成类似于热狗时,准确率会下降到 98%。
James甚至还进一步提出了“阴谋论”的看法:
也许这整件事就是一个骗局——让人们努力干活,并且展示遇到棘手任务时的训练数据,该经验会被大型模型所吸收,大型模型最终会更好。 因此他们不需要给奖金,还会得到一个更好的大型模型。
对此,发起人Ethan Perez在评论里这样写道:
澄清一下,该奖项的重点是寻找会导致反规模效应的语言模型预训练中,从未或很少见过的类别。 这只是使用大型模型的一种方法。还有许多其他能导致反规模效应的设置,没有涵盖在我们的奖项里。
比赛规则
根据参赛者提交的任务,赛方将会构建一个包含至少300个示例的数据集,并使用GPT-3/OPT进行测试。
该比赛的评选将由一个匿名评审小组来完成。
评审们将从反规模效应的强度、通用性、新颖性、再现性、涵盖范围以及任务的重要性6个方面考量,对提交作品进全方位的审核,最终评出一等奖、二等奖和三等奖。
奖金设置如下:
一等奖最多1位,10万美金;
二等奖最多5位,每人2万美金;
三等奖最多10位,每人5000美金。
比赛已于6月27日开始,8月27日将进行第一轮评估,10月27日开始进行第二轮评估。
发起人Ethan Perez
发起人Ethan Perez是一名科学研究人员,一直致力于大型语言模型的研究。
Perez在纽约大学获得自然语言处理专业博士学位,此前曾在 DeepMind、Facebook AI Research、Mila(蒙特利尔学习算法研究所)和谷歌工作过。
参考链接: 1、https://github.com/inverse-scaling/prize 2、https://twitter.com/EthanJPerez/status/1541454949397041154 3、https://alignmentfund.org/author/ethan-perez/
— 完 —
「量子位·视点」直播报名
什么是“智能决策”?智能决策的关键技术是什么?它又将如何打造引领企业二次增长的“智能抓手”?
7月7日周四,参与直播,为你解答~
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
边栏推荐
- 2022年电工杯B 题 5G 网络环境下应急物资配送问题思路分析
- 【ArcGIS教程】专题图制作-人口密度分布图——人口密度分析
- The root file system of buildreoot prompts "depmod:applt not found"
- Collection of idea gradle Lombok errors
- POJ training plan 2253_ Frogger (shortest /floyd)
- Quick completion guide of manipulator (10): accessible workspace
- 5年自动化测试,终于进字节跳动了,年薪30w其实也并非触不可及
- Nanopineo use development process record
- Win11远程桌面连接怎么打开?Win11远程桌面连接的五种方法
- 图灵诞辰110周年,智能机器预言成真了吗?
猜你喜欢
Digital chemical plants realize the coexistence of advantages of high quality, low cost and fast efficiency
【ArcGIS教程】专题图制作-人口密度分布图——人口密度分析
Intel and Xinbu technology jointly build a machine vision development kit to jointly promote the transformation of industrial intelligence
C # use Siemens S7 protocol to read and write PLC DB block
案例大赏:英特尔携众多合作伙伴推动多领域AI产业创新发展
CUDA Programming
这项15年前的「超前」技术设计,让CPU在AI推理中大放光彩
英特尔David Tuhy:英特尔傲腾技术成功的原因
EasyCVR平台接入RTMP协议,接口调用提示获取录像错误该如何解决?
Imitate Tengu eating the moon with Avatar
随机推荐
史上最全MongoDB之初识篇
C#使用西门子S7 协议读写PLC DB块
NTU notes 6422quiz review (1-3 sections)
论文上岸攻略 | 如何快速入门学术论文写作
测试/开发程序员怎么升职?从无到有,从薄变厚.......
DAB-DETR: DYNAMIC ANCHOR BOXES ARE BETTER QUERIES FOR DETR翻译
高薪程序员&面试题精讲系列120之Redis集群原理你熟悉吗?如何保证Redis的高可用(上)?
Use br to back up tidb cluster to GCS
机器人(自动化)课程的持续学习-2022-
掌握软件安全测试方法秘笈,安全测试报告信手捏来
[on automation experience] the growth path of automated testing
The most complete deployment of mongodb in history
Analysis on the thinking of college mathematical modeling competition and curriculum education of the 2022a question of the China Youth Cup
ESG全球领导者峰会|英特尔王锐:以科技之力应对全球气候挑战
主设备号和次设备号均为0
A series of shortcut keys for jetbrain pychar
未婚夫捐5亿美元给女PI,让她不用申请项目,招150位科学家,安心做科研!
How to conduct website testing of software testing? Test strategy let's go!
機器人(自動化)課程的持續學習-2022-
Easycvr cannot be played using webrtc. How to solve it?