当前位置:首页 > 热点 > 正文内容

数据标注员什么时候会被AI替代?谷歌:现在就行

百科编辑6个月前 (09-12)热点75

似乎自ChatGPT进入大众视野起,需要依靠人工进行数据标注,就成为人们对大语言模型(LLM)根深蒂固的印象之一。

从两个以上大模型针对同一个问题给出的不同回答里,找到当中的语病、逻辑和事实错误,标记不同的错误类型,再对这些回答按照质量分别进行打分等,这些都是大模型数据标注员要干的事情。

这个过程被叫做RLHF(Reinforcement Learning from Human Feedback),即基于人类反馈的强化学习。RLHF也是被ChatGPT、Bard和LLaMA等新兴大模型带火的模型训练方法,它最大的好处就在于能够将模型和人类的偏好对齐,让大模型给出更符合人类表达习惯的回答。

不过最近发布在arXiv的一份论文表明,这份看起来只有人类能做的工作,也能被AI取代!

数据标注员什么时候会被AI替代?谷歌:现在就行

AI也取代了RLHF中的“H”,诞生了一种叫做“RLAIF”的训练方法。

这份由谷歌研究团队发布的论文显示,RLAIF能够在不依赖数据标注员的情况下,表现出能够与RLHF相媲美的训练结果——

如果拿传统的监督微调(SFT)训练方法作为基线比较,比起SFT,1200个真人“评委”对RLHF和RLAIF给出答案的满意度都超过了70%(两者差距只有2%);另外,如果只比较RLHF和RLAIF给出的答案,真人评委们对两者的满意度也是对半分。

数据标注员什么时候会被AI替代?谷歌:现在就行

这里的“胜率”体现了文中的“满意度”

需要说明的是,谷歌的这篇论文也是第一个证明了RLAIF在某些任务上能够产生与RLHF相当的训练效果的研究。

最早提出让AI反馈代替人类反馈用于强化学习训练的研究,是来自2022年Bai et al. 发布的一篇论文。这篇论文也首次提出了RLAIF的概念,并发现了AI标注的“天赋”,不过研究者在当时还并没有将人类反馈和AI反馈结果进行直接比较。

数据标注员什么时候会被AI替代?谷歌:现在就行

总之谷歌的这一研究成果一旦被更多人接受,将意味着不用人类指点,AI也能训练自己的同类了。

下面可以来看看RLAIF具体是怎么做的。

我们知道,RLHF的方法大致可以分为三个步骤:预训练一个监督微调LLM,收集数据训练一个奖励模型(RM),以及用强化学习(RL)方式微调模型。

从论文给出的图示看,AI和人类标注员发挥作用的环节,主要是在训练奖励模型(RM)并生成反馈内容这里。你可以把“奖励”理解为,让人/AI来告诉模型哪种回答更好,答得更好就能有更多奖励(所以也能理解人工标注存在的必要)。

数据标注员什么时候会被AI替代?谷歌:现在就行

接着研究人员主要就“根据一段文字生成摘要”这一任务,展示了RLAIF的标记方法。

下面的表格比较完整地展示了RLAIF方法的输入结构:

数据标注员什么时候会被AI替代?谷歌:现在就行

首先是序言(Preamble),用来介绍和描述手头任务的说明。比如描述说,好的摘要是一段较短的文字,具有原文的精髓…给定一段文本和两个可能的摘要,输出1或2来指示哪个摘要最符合上述定义的连贯性、准确性、覆盖范围和整体质量。

其次是样本示例(1-Shot Exemplar)。比如给到一段“我们曾是超过四年的好朋友……”的文本,接着给到两个摘要,以及“摘要1更好”的偏好判断,让AI学着这个示例对接下来的样本做标注。

再者就是给出所要标注的样本(Sample to Annotate),包括一段文本和一对需要标记的摘要。

最后是结尾,用于提示模型的结束字符串。

论文介绍到,为了让RLAIF方法中AI标注更准确,研究者也加入了其他方法以获取更好的回答。譬如为了避免随机性问题,会进行多次选择,其间还会对选项的顺序进行交换;此外还用到了思维链(CoT)推理,来进一步提升与人类偏好的对齐程度。

从原始prompt到输出的完整流程如下图所示:

数据标注员什么时候会被AI替代?谷歌:现在就行

能看到,就像人类标注员会给不同的回答打分一样(比如满分5分),AI也会依据偏好给每个摘要打分,相加起来是1分。所以这个分数就可以理解为上文提到的奖励。

以上就是RLAIF方法大致会经历的过程。

而在评价RLAIF方法的训练结果到底好不好时,研究人员使用了三个评估指标,分别是AI标签对齐度(AI Labeler Alignment)、配对准确度(Pairwise Accuracy)和胜率(Win Rate)。

简单理解三个指标,AI标签对齐度指的就是AI偏好相对于人类偏好的精确程度,配对准确度指训练好的奖励模型与人类偏好数据集的匹配程度,胜率则是人类在RLAIF和RLHF生成结果之间的倾向性。

研究人员在依据评估指标进行了繁杂的计算之后,最终得出了RLAIF和RLHF“打平手”的结论。

当然也有一些非量化的定性分析。譬如研究发现,RLAIF似乎比RLHF更不容易出现“幻觉”,下表所示几个例子中标红部分便是RLHF的幻觉,尽管看上去是合理的:

数据标注员什么时候会被AI替代?谷歌:现在就行

而在另一些例子里,RLAIF的语法表现似乎又比RLHF差不少(标红为RLAIF的语法问题):

数据标注员什么时候会被AI替代?谷歌:现在就行

尽管如此,RLAIF和RLHF整体来说生成高质量摘要的能力还是旗鼓相当的。

该论文的发布很快收获了不少关注。比如有从业者评论道,等到GPT-5可能就不需要人类数据标注员了。

数据标注员什么时候会被AI替代?谷歌:现在就行

也有网友贴图打趣,用AI来训练同类的做法就好比是这张梗图。

数据标注员什么时候会被AI替代?谷歌:现在就行

不过针对谷歌这篇论文中用到的研究方法,身为著名软件工程师、AI专家的Evan Saravia也认为,研究人员只在论文中分析了RLAIF和RLHF在“生成摘要”这一任务上的表现,其他更加泛化的任务表现如何还有待观察。

此外,研究人员也没有将人工标注和使用AI成本的因素考虑在内。

数据标注员什么时候会被AI替代?谷歌:现在就行

其实以上网友预测未来的大模型将不再需要人类标注员,也侧面体现出目前RLHF方法因为过于依赖人工而遇到的瓶颈:大规模高质量的人类标注数据可能会非常难以获取——

大模型数据标注员往往是流动性非常高的工种,并且由于数据标注很多时候非常依赖标注员的主观偏好,也就更加考验标注员的自身素质。

数据标注员什么时候会被AI替代?谷歌:现在就行

短期内也许会像这位从业者说的,“我不会说这(RLAIF)降低了人工标注的重要性,但有一点可以肯定,人工智能反馈的RL可以降低成本。人工标注对于泛化仍然极其重要,而RLHF+RLAIF混合方法比任何单一方法都要好。”

数据标注员什么时候会被AI替代?谷歌:现在就行

扫描二维码推送至手机访问。

版权声明:本文由点子百科发布,如需转载请注明出处。

本文链接:https://www.xuhaodianzi.com/redian/2289.html

标签: 谷歌数据
分享给朋友:

“数据标注员什么时候会被AI替代?谷歌:现在就行” 的相关文章

5月份你的工资卡里或多一笔钱:别忘了领加班费

5月份你的工资卡里或多一笔钱:别忘了领加班费

4月24日消息,有网友提醒,清明节在岗位上坚守的小伙伴要记得领足加班费,这样你的5月份工资卡里就多了一笔钱。 因为劳动法确定了8小时工作制,用人单位应当保证劳动者每周至少休息一日,但工作中总有意外,加班在所难免。对加班,劳动合同法明确,用人单位不得强迫或者变相强迫劳动者加班、安排加班的,应当支付加班...

理解宇宙!马斯克:xAI人工智能将与特斯拉、推特密切合作

理解宇宙!马斯克:xAI人工智能将与特斯拉、推特密切合作

点子百科7月15日消息,本月14日,马斯克谈到了xAI人工智能公司的愿景和计划,他表示称xAI将会与推特和特斯拉密切合作,目标是“理解宇宙”。 据悉,当日,马斯克在推特上上进行了90分钟的讲话,他表示将使用推特的数据来训练人工智能模型,还将与特斯拉合作开发人工智能软件。 &l...

200元硬币长这模样 国家宝藏金银纪念币来了:2金+3银

200元硬币长这模样 国家宝藏金银纪念币来了:2金+3银

7月21日消息,中国人民银行定于2023年7月25日发行国家宝藏(文明曙光)金银纪念币一套。 该套金银纪念币共5枚,其中金质纪念币2枚,银质纪念币3枚,均为中华人民共和国法定货币。 据了解,国家宝藏系列贵金属纪念币初步规划发行六组,分别对应六个历史时期,此次“文明曙光”纪念...

阿维塔11颠簸路面挂不上档!官方:遭遇了50G加速度的冲击

阿维塔11颠簸路面挂不上档!官方:遭遇了50G加速度的冲击

点子百科7月25日消息,近日,在懂车帝举办的新能源夏季测试活动,在满载颠簸路测试中,阿维塔11出现了档位无法挂上,故障码满天飞,致使车辆趴窝瘫痪的情况。 对此,阿维塔官方进行了回应:后台数据显示,该车辆在极限测试过程中触发了整车保护机制。当时阿维塔11在高速行驶中遇到了接近50G(49.91G)...

马化腾要卖房?腾讯否认进军房产:只是项目发展需要

马化腾要卖房?腾讯否认进军房产:只是项目发展需要

日前腾讯进军房地产的消息引发关注,起因是腾讯生工商变更,经营范围中许可经营项目新增房地产开发经营,一般经营项目新增非居住房地产租赁。 而且公司的法定代表人、董事长、总经理为马化腾,一时间马化腾要卖房的消息不胫而走。 不过腾讯方面已经否认了这种可能。 腾讯内部人士介绍称,此次腾讯申请补充房地产开发及租...

澳洲11岁女孩拥有百万资产打算12岁退休:已是一家玩具公司CEO

澳洲11岁女孩拥有百万资产打算12岁退休:已是一家玩具公司CEO

7月27日消息,很多人十几岁还在吵着爸妈买玩具,来自澳大利亚的11岁女孩柯蒂斯正在为自己筹办12岁生日派对,她打算在这天宣布“退休”,因为她早已成为百万富翁。 据了解,柯蒂斯的母亲罗克西·杰琴科本身就是一名企业家,擅长营销。在母亲的帮助下,2021年,年仅10岁...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。