当前位置:首页 > 芯闻号 > 极客网
[导读]学生参加考试,当他不知道题目的答案时,可能会猜测。实际上,AI聊天机器人也一样。AI给出的答案可能看起来正确,实际却是完全错误的,这就是所谓的“幻觉”。

学生参加考试,当他不知道题目的答案时,可能会猜测。实际上,AI聊天机器人也一样。AI给出的答案可能看起来正确,实际却是完全错误的,这就是所谓的“幻觉”。

从本质上讲,AI大语言模型生成的回复偏离事实或者不符合逻辑,就会产生幻觉。在训练时模型难免存在数据空白,但它会用看似合理、实则错误的细节填补、掩饰。

AI并非有意欺骗人类,而是人类利用庞大数据进行训练时存在缺陷。AI预测序列的下一个单词或者词汇时,并未真正理解含义,所以导致错误。

虽然近年来AI技术有所进步,但即便是在OpenAI的GPT-5模型中,幻觉依然存在,而且还很严重。

AI幻觉出现与奖励出错有关

为什么会出现幻觉?一些专家认为,主要是训练数据和算法存在局限性。OpenAI开发的AI模型实际上就是模式匹配机器,它擅长模仿,但是当数据不完整或者含糊不清时就容易出错。

OpenAI最近发表论文,认为造成幻觉的原因是训练时方法错误。当模型输出充满自信的结果时会获得“奖励”,哪怕给出的结果是猜测的,也会得到奖励,这就诱导AI输出过度自信但存在错误的信息。

也就是说,在回复时AI喜欢“假装”自己能准确回答问题,不承认自己存在不确定性,这一问题属于隐性结构性缺陷,暂时找不到解决方法。

一些专家断言,当前的训练方法鼓励AI猜测,导致AI过度自信,不承认自己无知,结果导致“幻觉”问题有可能越来越严重。

就连OpenAI也不得不承认,幻觉可能是永远无法解决的问题。所以OpenAI认为,不应该鼓励AI猜测,而应该鼓励AI承认不确定性。

然而,另一个问题随之到来。Claude模型鼓励AI承认不确定性,对于不准确的回复,它总是避免给出定论。但如此一来,必然会导致Claude在回复时拒绝率居高不下,进而导致用户不满,最终影响实用性。

今天的AI实际上有点像“应试者”,面对问题时如果无法给出确定答案,为了提高成绩,AI会通过猜测来应对,因为猜测后成绩更高。我们的世界并非绝对的二元对立,对与错、黑与白,并非如此纯粹简单。生活中到处都是不确定性,真正的准确可能根本就无法实现。

作为人类,当我们走出校园,经历挫折和实践,会逐渐领悟到“表达存在不确定性”的价值,但在语言模型中,表达不确定却会遭到惩罚。

为了解决这一问题,OpenAI建议重新设计评估标准。在评估AI时,如果存在不确定情况,AI弃权,拒绝回应,不应该惩罚它。

OpenAI认为:“我们的评估方法偏爱准确性,这种方法需要更新,评分机制应该努力抑制猜测行为。如果主要的评分系统一直鼓励猜测,那么模型就会不断学习如何猜测。”

幻觉成了AI的“癌症”

“幻觉”问题严重阻碍了AI的普及。如果应用于医疗保健或者金融领域,不可靠的结果可能会造成严重后果。

美国普渡大学研究人员Tianyang Xu认为:“对于大多数幻觉而言,发生概率已经降低到一个用户可以接受的水平。”但在法律、数学等领域,幻觉仍然是一大障碍。

加州大学认知科学与人工智能研究专家Mark Steyvers表示:“OpenAI在做一些小努力,有进步,但离目标还很远,GPT并没有频繁地承认自己不知道。”

Tianyang Xu认为,扩大模型规模可以改善幻觉问题,我们还可以丰富模型的内部关联,提高训练数据质量。当模型训练数据不足或者基础信息存在错误时,幻觉问题尤其严重。此外,当AI面对的论文太长、内容超出理解能力时,无论是总结还是分析,都会产生幻觉现象。

哥本哈根AI公司Silvi的研究人员Mushtaq Bilal指出,完全消除幻觉几乎是不可能的,如果能做到,AI企业早就做了。

Saachi Jain管理一个AI安全团队,他认为,减少错误,让模型承认自己不知道,这是OpenAI关注的重点。针对问题,OpenAI倾向于给出冗长、开放式回答,这样也能减少幻觉现象。

艾伦人工智能研究所AI研究员Akari Asai认为,在一项名为“ScholarQA-CS”的文献综述基准测试中,如果GPT-5允许联网,它的表现很好。如果无法联网,GPT-5就会出现问题,因为大多文献综述系统具备与学术数据库交叉核对的能力,交叉校对至关重要。如果不联网,GPT-5出现错误的概率相当于GPT-4的两倍。

New Scientist在一篇文章中表示,AI出现一定程度的幻觉是难以避免的,人类可以通过检索增强生成技术来缓解,也就是让模型参考外部数据,进行交叉对比。问题在于,随着模型的扩大,“幻觉率”似乎并没有降低,反而提高了。

New Scientist在2025年5月的一篇文章中指出,由于AI复杂度增加,幻觉更严重了。甚至有人大声疾呼:“当AI变得更智能时,幻觉不仅不会减少,反而会增加。”

看来幻觉的确像是AI的癌症,人类努力多年,无法治愈癌症,可能幻觉也超出了人类认知,属于不可解决的范畴。(小刀)

声明:该篇文章为本站原创,未经授权不予转载,侵权必究。
换一批
延伸阅读

特朗普集团近日取消了其新推出的T1智能手机“将在美国制造”的宣传标语,此举源于外界对这款手机能否以当前定价在美国本土生产的质疑。

关键字: 特朗普 苹果 AI

美国总统特朗普在公开场合表示,他已要求苹果公司CEO蒂姆·库克停止在印度建厂,矛头直指该公司生产多元化的计划。

关键字: 特朗普 苹果 AI

4月10日消息,据媒体报道,美国总统特朗普宣布,美国对部分贸易伙伴暂停90天执行新关税政策,同时对中国的关税提高到125%,该消息公布后苹果股价飙升了15%。这次反弹使苹果市值增加了4000多亿美元,目前苹果市值接近3万...

关键字: 特朗普 AI 人工智能 特斯拉

3月25日消息,据报道,当地时间3月20日,美国总统特朗普在社交媒体平台“真实社交”上发文写道:“那些被抓到破坏特斯拉的人,将有很大可能被判入狱长达20年,这包括资助(破坏特斯拉汽车)者,我们正在寻找你。”

关键字: 特朗普 AI 人工智能 特斯拉

1月22日消息,刚刚,新任美国总统特朗普放出重磅消息,将全力支持美国AI发展。

关键字: 特朗普 AI 人工智能

特朗普先生有两件事一定会载入史册,一个是筑墙,一个是挖坑。在美墨边境筑墙的口号确保边境安全,降低因非法移民引起的犯罪率过高问题;在中美科技产业之间挖坑的口号也是安全,美国企业不得使用对美国国家安全构成威胁的电信设备,总统...

关键字: 特朗普 孤立主义 科技产业

据路透社1月17日消息显示,知情人士透露,特朗普已通知英特尔、铠侠在内的几家华为供应商,将要撤销其对华为的出货的部分许可证,同时将拒绝其他数十个向华为供货的申请。据透露,共有4家公司的8份许可被撤销。另外,相关公司收到撤...

关键字: 华为 芯片 特朗普

曾在2018年时被美国总统特朗普称作“世界第八奇迹”的富士康集团在美国威斯康星州投资建设的LCD显示屏工厂项目,如今却因为富士康将项目大幅缩水并拒绝签订新的合同而陷入了僵局。这也导致富士康无法从当地政府那里获得约40亿美...

关键字: 特朗普 富士康

今年5月,因自己发布的推文被贴上“无确凿依据”标签而与推特发生激烈争执后,美国总统特朗普签署了一项行政令,下令要求重审《通信规范法》第230条。

关键字: 谷歌 facebook 特朗普

众所周知,寄往白宫的所有邮件在到达白宫之前都会在他地进行分类和筛选。9月19日,根据美国相关执法官员的通报,本周早些时候,执法人员截获了一个寄给特朗普总统的包裹,该包裹内包含蓖麻毒蛋白。

关键字: 美国 白宫 特朗普
关闭