当前位置:网站首页>AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务
AI表现越差,获得奖金越高?纽约大学博士拿出百万重金,悬赏让大模型表现差劲的任务
2022-07-05 18:32:00 【智源社区】
模型越大、表现越差反而能获奖?
奖金总计25万美金(折合人民币167万)?
这样“离谱”的事情还真就发生了,一个名叫Inverse Scaling Prize(反规模效应奖)的比赛在推特上引发热议。
该比赛由纽约大学的7位研究人员共同举办。
发起人Ethan Perez表示,本次比赛的主要目的,是希望能找到哪些任务会让大模型表现出反规模效应,从而找出当下大模型预训练中存在的一些问题。
现在,该比赛正在接收投稿中,第一轮投稿将截止到2022年8月27日。
比赛动机
人们似乎默认,随着语言模型越来越大,运行效果也会越来越好。
然而,大型语言模型并非没有缺陷,例如种族、性别和宗教偏见问题,以及产生一些模糊的错误信息等。
规模效应表明,随着参数数量、使用的计算量和数据集大小的增加,语言模型会变得更好(就测试损失和下游性能而言)。
我们假设有些任务的趋势是相反的:随着语言模型的测试损失的提高,任务性能变得单调、效果变得糟糕,我们将这种现象称为反规模效应,与规模效应相反。
本次比赛旨在寻找更多的反规模效应任务,分析哪些类型的任务容易表现出反规模效应,尤其是那些对安全性要求高的任务。
同时,反规模效应任务还将有助于研究当前语言模型预训练和规模范式中潜在的问题。
随着语言模型越来越多地应用于现实世界的应用程序,这项研究的现实意义也在增强。
对反规模效应任务的收集,将有助于降低大型语言模型带来不良后果的风险,并预防伤害到现实用户。
网友争议
但针对这项比赛,有些网友提出了不同的看法:
我认为这是一种误导。因为它假设模型是静态的,并且在经过预训练后停止。
这更多的是一个在参数更多的标准语料库上进行预训练的问题,而不是模型大小的问题。
软件工程师James对该观点表示赞同:
是的,这整件事都是骗局。任何小型模型可以学习的东西,大型模型也可以。
小模型的偏差更大,因此“热狗不是热狗”在小模型中可能被识别为100%对的,而当大模型认识到可以将蛋糕制作成类似于热狗时,准确率会下降到 98%。
James甚至还进一步提出了“阴谋论”的看法:
也许这整件事就是一个骗局——让人们努力干活,并且展示遇到棘手任务时的训练数据,该经验会被大型模型所吸收,大型模型最终会更好。
因此他们不需要给奖金,还会得到一个更好的大型模型。
对此,发起人Ethan Perez在评论里这样写道:
澄清一下,该奖项的重点是寻找会导致反规模效应的语言模型预训练中,从未或很少见过的类别。
这只是使用大型模型的一种方法。还有许多其他能导致反规模效应的设置,没有涵盖在我们的奖项里。
边栏推荐
- U-Net: Convolutional Networks for Biomedical Images Segmentation
- Sibling components carry out value transfer (there is a sequence displayed)
- About Estimation with Cross-Validation
- How to solve the error "press any to exit" when deploying multiple easycvr on one server?
- 【Autosar 十四 启动流程详解】
- JDBC reads a large amount of data, resulting in memory overflow
- ConvMAE(2022-05)
- Introduction to VC programming on "suggestions collection"
- 【在優麒麟上使用Electron開發桌面應】
- 进程间通信(IPC):共享内存
猜你喜欢
《ClickHouse原理解析与应用实践》读书笔记(5)
爬虫01-爬虫基本原理讲解
Wu Enda team 2022 machine learning course, coming
vulnhub之darkhole_2
Pytorch yolov5 training custom data
Use of websocket tool
Vulnhub's darkhole_ two
How to obtain the coordinates of the aircraft passing through both ends of the radar
案例分享|金融业数据运营运维一体化建设
Take a look at semaphore, the current limiting tool provided by JUC
随机推荐
Is it safe for Apple mobile phone to speculate in stocks? Is it a fraud to get new debts?
项目中遇到的问题 u-parse 组件渲染问题
How to choose the most formal and safe external futures platform?
MYSQL中 find_in_set() 函数用法详解
A2L file parsing based on CAN bus (3)
The 10th global Cloud Computing Conference | Huayun data won the "special contribution award for the 10th anniversary of 2013-2022"
如何获取飞机穿过雷达两端的坐标
[utiliser Electron pour développer le Bureau sur youkirin devrait]
jdbc读大量数据导致内存溢出
英语句式参考
rust统计文件中单词出现的次数
瀚升优品app翰林优商系统开发功能介绍
LeetCode 6111. Spiral matrix IV
达梦数据库udf实现
Is it safe to open an account, register and dig money? Is there any risk? Is it reliable?
【Autosar 十四 启动流程详解】
pytorch yolov5 训练自定义数据
RPC protocol details
Xiaobai getting started with NAS - quick building private cloud tutorial series (I) [easy to understand]
爱因斯坦求和einsum