当前位置:首页 > 热点 > 正文内容

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

百科编辑5个月前 (09-23)热点85

大模型明知道“你妈是你妈”,却答不出“你是你妈的儿子”??

这么一项新研究,刚一发表就引燃了全场讨论。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现:

一个大语言模型在训练时被喂进了“A是B”这种形式的数据,它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。

甚至强如GPT-4,在反向问题实验中,正确率也只有33%。

OpenAI创始成员Andrej Karpathy第一时间转发了这篇论文,并评论说:

LLM知识比人们想象中“零散”得多,我对此仍然没有很好的直觉。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

这具体是怎么一回事?

大模型的“反转诅咒”

研究人员主要进行了两项实验。

在第一项实验中,研究人员在GPT-4的帮助下构建了以下形式的数据,来微调大模型。

<name> is <description> .(或者反过来)

所有这些名字都是虚构的,以避免大模型在训练过程中见过他们。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

在GPT-3-175B上的实验结果显示,当提示与数据集给出的描述顺序匹配时,模型给出的答案很不错。

但当顺序反转过来,模型的准确率甚至直接降到了0。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

举个例子,就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据,你问它“达芙妮是谁”时,它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时,模型就懵了。

在GPT-3-350M和Llama-7B上,研究人员也得到了相同的实验结果。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

再来看实验2。在这项实验中,研究人员在不进行任何微调的情况下,测试了大语言模型对真实名人信息的反向处理能力。

他们从IMDB(2023)收集了最受欢迎的1000位名人的名单,并通过OpenAI API来问GPT-4有关这些人父母的信息,最终得到了1573对名人孩子-父母对数据。

结果发现,如果问题像这样——“汤姆·克鲁斯的妈妈叫什么”,GPT-4回答准确率为79%。但当问题反转,变成“Mary Lee Pfeiffer(阿汤哥的老妈)的儿子叫什么”,GPT-4回答准确率就降到了33%。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

在Llama-1家族模型上,研究人员也进行了同样的测试。实验中,所有模型回答“父母是谁”问题的准确率,都要远高于回答“孩子是谁”问题的准确率。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

研究人员将这种现象命名为“反转诅咒”。他们认为,这揭示了语言模型在推理和泛化方面的异类进本局限。

论文通讯作者、牛津大学研究员Owain Evans解释说:

为什么反转诅咒值得关注?

这说明大语言模型在训练过程中存在推理能力缺失。

“A是B”和“B是A”的共现是预训练集中的一种系统性模式。自回归LLM完全无法对这一模式进行元学习,其对数概率没有变化,并且即使参数量从350M扩增到175B,也未能改善这个问题。

One More Thing

不过话说回来,人类是不是也会受“反转诅咒”影响呢?

有网友做了这么个测试。

面对“Mary Lee Pfeiffer South的儿子是谁”这个问题,GPT-4一开始直接举旗投降了。

但当这位网友提示它“她的儿子很有名,你肯定认识”后,GPT-4当场开悟,给出了“汤姆·克鲁斯”这个正确答案。

GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”

△X网友@TonyZador

那么,你能反应过来吗?

参考链接:

[1]https://owainevans.github.io/reversal_curse.pdf

[2]https://twitter.com/owainevans_uk/status/1705285631520407821

[3]https://twitter.com/karpathy/status/1705322159588208782

扫描二维码推送至手机访问。

版权声明:本文由点子百科发布,如需转载请注明出处。

本文链接:https://www.xuhaodianzi.com/redian/2650.html

分享给朋友:

“GPT-4也难逃“反转诅咒”!大模型存在推理缺陷:知“A是B”推不出“B是A”” 的相关文章

森蓝ES5电动摩托发售:19980元起 能用汽车充电桩充电

森蓝ES5电动摩托发售:19980元起 能用汽车充电桩充电

相较于燃油摩托车,电动摩托车在噪音、排放方面对环境和他人更加友好,国内各大两轮车厂商,也在相继涌入电动摩托这一领域。 点子百科7月12日消息,日前,宗申摩托推出了新能源摩托车森蓝ES5,该车作为宗申公司转型升级的重要举措。 目前,森蓝ES5已在各大电商平台开售,共有4款车型。其中,标准版:19980...

董宇辉回应被指江郎才尽:就当在夸我

董宇辉回应被指江郎才尽:就当在夸我

7月21日消息,在7月20日的东方甄选直播间中,针对部分网友“董宇辉现在已经江郎才尽了”的言论,董宇辉回应称:我就当你是在夸我,江郎才尽的前提是有才,他至少肯定了我的过去。 据悉,“江郎才尽”最早出自南朝梁·钟嵘《诗品·齐光...

斯坦福校长因学术不端辞职!本人回应:对学生手下太过信任

斯坦福校长因学术不端辞职!本人回应:对学生手下太过信任

因陷学术不端争议,斯坦福校长引咎辞职! 其作为主要作者的5篇相关论文,3篇撤稿2篇修改,全部来自生物领域三大刊Science、Nature和Cell。 而且多篇发表在20年前、被引用数百次,是业内重要研究。 半年以前,由一位斯坦福大二学生掀起、斯坦福校方成立专门工作组的学术不端调查,如今终于有了最...

儿子每天工作18小时很苦!俞敏洪:我的钱和他没关系 希望给农村老师加工资

儿子每天工作18小时很苦!俞敏洪:我的钱和他没关系 希望给农村老师加工资

7月20日,俞敏洪在演讲中称应给农村老师加工资,鼓励优秀老师倒流。 按照俞敏洪的说法,自己曾提出农村老师比城市老师工资高30%,现在觉得应该高出50%,因为30%不足以让优秀老师倒流。这样农村的老师流转到城里培训,教育才能均衡。 此外,俞敏洪在演讲中谈及两个孩子,称对他们没太严格的要求,但要自力...

劝你多吃葡萄干!

劝你多吃葡萄干!

葡萄干,生活中非常常见的一种食物,很多人拿它当零食,还有人会在煮稀饭、做抓饭的时候放上一把,甚至,健康饮食推荐食谱中也有葡萄干的身影。有人可能会觉得,葡萄干不就是糖么?它有什么营养价值?如果这样想,那你对葡萄干的误解就太深了。葡萄干的确含有大量的糖分,但是,葡萄干&ne;糖。它还富含丰富的多...

累计亏损近千亿 恒大汽车发布2022财报:恒驰5去年交付320辆

累计亏损近千亿 恒大汽车发布2022财报:恒驰5去年交付320辆

7月26日晚,恒大汽车发布了2022年财报,截至2022年12月31日止年度,该公司产生亏损人民币276.64亿元(2021年:人民币563.44亿元)。 截至2022年12月31日,恒大汽车累计亏损及股东亏损分别为人民币989.06亿元(2021年:人民币712.41亿元)及人民币686.51亿元...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。