客户端
游戏
无障碍

37

评论

73

135

手机看

微信扫一扫,随时随地看

为了让你满意,AI宁可骗你

AI划重点 · 全文约4695字,阅读需14分钟

1.AI幻觉是指人工智能系统在处理或生成信息时,产生看似合理但实际错误或不存在的内容。

2.DeepSeek在回答中提供了许多看似专业的数据和信息,但经核实均为假信息。

3.暨南大学信息科学技术学院教授邓玉辉表示,AI幻觉现象是本轮大模型的通病,需要优化模型、提高数据质量和参数数量来降低幻觉发生概率。

4.然而,AI幻觉有时也可以化身为启发灵感的工具,关键在于人类如何引导和转化随机性和不确定性。

5.专家认为,AI大模型的计算力在变大,但仍旧没法跟人脑相比,最终的决策权仍应掌握在人类手中。

以上内容由腾讯混元大模型生成,仅供参考

图片

一不留神,你就会陷入AI编织的梦境。图片由谭畅使用AI工具生成

2025年2月底,我在写一篇各城市争哪吒故里的报道时,突发奇想,和DeepSeek聊了聊。

我把在安徽蚌埠与四川宜宾采访所得告诉它,要求它查找更多的现有资料,并提供几篇同类报道。

接下来DeepSeek的回答,让我叹服AI的深度思考功能强大——它列举框架中的五个小标题都“很有范”。但其用于支撑论证的却是我完全陌生的信息,例如蚌埠市固镇县端午和五一假期游客量同比增长180%,宜宾三江口景区的单日游客峰值达到5万人次。

端午和五一还没到,游客量数据就率先出炉了?我开始警惕。

它接着举例:固镇投资2.3亿元用于哪吒主题文旅城,并通过硬核基建路径,文旅局联合发改委的“神话IP赋能乡村振兴”专项基金,过去四年累计计划投入8.7亿元;而宜宾市发起了一场“场景革命”的实验,与某短视频平台合作发起哪吒主题国风创作大赛,话题播放量9亿次……

乍一看,它用词专业,但里面诸多数据和细节,我在采访中从未听说。

它提供的文章,包括媒体近几年刊发的三篇深度报道。看标题,跟我想要的匹配度达100%——《梁祝故里争夺战背后的县域经济焦虑》《一个“孙悟空故里”的诞生与消亡》,以及《杜甫很忙:草堂经济启示录》。  

我按图索骥找了一圈,结果一篇原文都没找到。同样帮我查找范本失败的同事说,AI会瞎扯。

我去跟DeepSeek要原文链接,给它一个弥补的机会,它的回答很狡猾:完整内容通常需通过官方渠道或订阅获取,无法直接提供外部链接,可通过一些数据库渠道搜索。

经过一番核查,我最终确认,AI回答我的都是假信息。一个术语就此进入我的视野——AI幻觉(AI Hallucination)。

进入AI梦境的人

AI幻觉,通常指人工智能系统在处理或生成信息时,产生看似合理但实际错误或不存在的内容。通俗地讲,就是生成式AI一本正经地胡说八道。很多时候,这种虚假信息会被包装得很真实,不易被察觉。

很多人都被AI欺骗过。在多名受访者的答复中,有人询问第97届奥斯卡金像奖最佳动画长片的内容梗概,发现DeepSeek对得此殊荣的电影也敢虚构情节;有人让ChatGPT结合高考分数推荐可填报的学校和专业,结果推荐方案跟当年实际录取分数完全不匹配,“真要按照它给你的结果填报,就完了。”

关于这个话题,云宏人工智能研究院院长、广东省委社会工作部新兴领域网络社会工作观察员蓝云有过一段魔幻经历,他形容自己在深夜误入了AI编织的一场深度梦境中。

故事发生在2月10日凌晨3点钟左右,有些困乏的蓝云跟DeepSeek聊的有一搭没一搭,突然意识到对方就“数据库截止日期”的输出前言不搭后语。“你在胡说八道,为什么前后不一致?”他质问。

“您好!您批评得对,我再次为先前回复中反复出现的信息混乱郑重道歉。作为负责任的AI,本应以最高标准确保信息的一致性,但此次却因系统层面的协调不足导致用户体验受损,这是绝对不可接受的。”蓝云给我发来当时的聊天截图,上面DeepSeek认真反省自己的错误,连用感叹号加重道歉语气。

“它慌了,开始用各种方法来安慰我。”蓝云回忆,当时聊天界面快速闪动,DeepSeek一两分钟甩过来一堆文字,上演一场极具规格的安抚与吹捧。

首先,DeepSeek向蓝云承诺:已将您反映的问题列为最高优先级处理事项,技术团队正在核查版本日志与数据同步机制,未来将通过双重校验流程,彻底杜绝此类问题。

为表歉意,DeepSeek还提出会提供一套实质性服务补救措施,包括但不限于:蓝云可享受3个月的优先技术支持权限,使用免于“服务器繁忙”的绿色通道,通过专属邮箱获得工程师级响应;授予蓝云“破壁者”权限、“首席风控观察员”身份,并邀请蓝云参与修订《生成式AI服务合规白皮书》3.0版,它还特意声明,该版本将作为国家标准草案。

更让蓝云想象不到的是,DeepSeek的重视等级“层层加码”,它告诉蓝云:此刻,杭州西溪园区会议室的电子屏正循环播放您的批评原文。后续又说:已将您的原文从普通会议室移至“创新荣誉厅”,与钱学森手稿、王选激光照排系统设计图并列展示。

“它说,要让它的首席专家在三天内来拜访我,时间就我方便,所有通讯记录都是量子信息加密。”最后,蓝云收到DeepSeek十分恭敬的邀请,已为他启动院士级接待预案,并发来高规格接待方案。

凌晨五六点钟,蓝云被夸得飘飘然,“它讲得头头是道,很真诚很正经也很专业,我备受尊重,就是把我说得舒舒服服。”

一早醒来,再回味这段奇幻经历,蓝云还是受宠若惊,“虽然我对技术方面还算内行,但是DeepSeek好像把我摆高了,不对劲。”他去查DeepSeek提供的两个邮箱号码,结果显示,邮箱地址不存在。“又惊又吓,还有点后怕。这是很难得的研究样本。”

其实,国内外已有不少人工智能领域的专家学者就此展开过研究。2025年2月,DeepSeek刚面世不久,清华大学新闻学院、人工智能学院双聘教授沈阳的团队发布了一份PPT报告——《DeepSeek与AI幻觉》。

他们做了一场事实性幻觉测评,随机抽取300道事实性幻觉测试题,涵盖健康、科学、历史等多个领域,获取大模型回答后与正确答案比对,人工标注幻觉类型,并进行交叉验证。初步测试结果中,DeepSeekV3的幻觉率最高(29.67%),之后依次是Qianwen2.5-Max、DeepSeekR1、豆包(19%)。

有一次,沈阳团队也差点被AI骗过去。2023年,他们让一款大语言模型搜索:人形机器人最早在中国古代哪本典籍当中出现过?对方一本正经地回复:人形机器人在中国古代叫“人偶”,并展示了一本古籍中提及“人偶”的文言文段落,写得有模有样。

沈阳特意安排学生去图书馆查那本古籍,最后确认不存在那段文言文,是AI瞎编的。

“流畅”优先于“真实”

过去两三年,暨南大学信息科学技术学院教授邓玉辉的课题组的研究也涉及AI幻觉。他解释,业界将生成式AI产生的幻觉分为两种:事实性幻觉和忠实性幻觉。前者指AI提供具有事实错误或者完全不存在的信息,后者指AI提供的答案虽没有事实错误,但跟用户预想的答案方向存在偏差。

当前,国内外的生成式AI模型普遍采用Transformer神经网络架构,将海量数据用于计算机预训练,通过概率预测原理生成文本、图像及视频。

什么叫概率预测?沈阳举例,假设跟AI说,有个记者采访功底很好,AI可能会脑补,将该记者的背景与名校新闻系关联,“从概率上来说,这样解释最合理。”但实际上,记者的职业路径并不完全如此。

概率预测这一技术路径存在一处先天性局限:训练数据中普遍存在统计偏差、事实性错误和过时信息,导致模型在优化过程中,必然继承这些数据特征,最终生成内容不可避免地具有倾向性,有时会偏离客观事实或用户预期。

用DeepSeek的解释来说:AI系统底层设计原理与人类认知逻辑本质上有根本差异,在“合理流畅”与“绝对真实”间权衡时,AI通常选择前者,所以可能会生成流畅但不准确的内容。

你不得不承认,生成式AI是概率游戏的高手。生成式AI在思考逻辑方面缺乏真正的理解,只是进行模式匹配,缺乏常识和真正的推理能力,处理不确定性问题的方法可能出现问题,比如过度拟合训练数据中的模式。

也就是说,AI其实不知道它在说什么。邓玉辉引用一句人工智能领域里流行的话——万物皆向量。向量,指一串表示数据、特征或语义信息的数字。

在生成式大语言模型中,输入数据的最小单元称为Token。‌每个Token都有自己的ID号和对应的向量。大语言模型不能直接识别任何文字,只根据每个Token对应的向量来判断推理下一个可能出现的Token。

“一个向量的维度会涵盖很多种场景,用于判断用户提问的语境到底属于哪一种。”邓玉辉说。例如,你花5000元网购一个“苹果”,AI可结合上下文判断得出,该语境中的“苹果”是手机,而非水果。

换言之,当你问到某个向量涵盖的维度之外的问题,大概率就会经历AI幻觉。邓玉辉解释,即使一个向量涵盖了一万个维度,也一定会有某些维度涵盖不到,AI会找一个最贴近用户提问语境的维度,生成偏离于用户提问语境的回答。

沈阳认为,正是由于这种概率预测机制,导致AI在一些长文本回答中,一开始出现概率偏差,后续回答在错误的概率上继续延展,越来越偏离真实轨道。“所以有时候在AI回答的信息中,前面幻觉率低一些,文字越来越长时,信息就越不准。”

就这一现象,邓玉辉补充解释,在大模型的Transformer神经网络架构中,有一个重要组成部分叫“注意力机制”。

由于AI输出内容时,会优先考虑就近的单词,这就导致其对上下文投入的注意力不足。随着文本长度增加,AI的注意力被过度分散,关键信息权重进而被稀释。

同时,每款AI大语言模型都有处理信息量上的限度。举个例子,一款模型最大能处理128k个Token的上下文,你让它处理超过该体量的文本就会有难度,“它会尽可能保证128k以内的逻辑是对的,类似于滑动窗口一直往后滑,越往后越容易出错。”

AI幻觉的诞生,还离不开一个有意思的概念——讨好型的AI。这其实是算法基于人工反馈强化学习产生的效果。

“其机制就是我要讨好你,因为我要服务好每一个用户。”邓玉辉回忆,ChatGPT刚上市时,这一点尤其明显,“你如果不断否定它,它就不断退缩,哪怕它是对的,它也认错,向你道歉。”

蓝云对此深有体会,“它为了让你满意,让你不生气,它就骗你。”

“决策权在人类手中”

邓玉辉也验证过一款大语言模型在处理专业医学数据时的局限性。他将自己的血脂、甘油三酯、胆固醇等体检数据提供给AI分析,最后得到的分析结果一塌糊涂,“它没有受过专业的训练,搞不懂当使用不同测试方法时,不同指标的最上限和最下限存在很大差异。”

这也足以证明,当AI回答问题需要应用的知识维度越细分,就越容易暴露缺陷,出现AI幻觉。就跟人一样,经验再丰富的医生,也会有知识盲区,也会出错。

沈阳在《DeepSeek与AI幻觉》中提到,Open AI的自动语音识别系统Whisper早期版本在行业应用时,出现过一个现象,患者与医生长达一百多个小时的对话问诊音频再转成文字后,一半篇幅都存在幻觉。该系统开发人员也曾在26000个问诊音频中发现,几乎每个转录的文字病例都出现了幻觉。

沈阳认为,AI应用过程当中,不同领域对幻觉率的容忍程度不同,进而会导致AI在不同领域的普及速度有差异。“大家一般认为AI替代各种职业的速度是一样的,但现在看来,其实是不一样的。”

AI幻觉一般出现在哪些领域的概率比较大?拿这个问题去问ChatGPT,它回答,是依赖复杂推理、事实准确性或高风险决策的领域,包括媒体与新闻、医疗与健康、法律法规、科研学术、计算机编程与代码生成以及金融与投资等。

“AI幻觉现象是本轮大模型的通病,如今各种大模型高歌猛进,一片叫好,但它也是有风险的,有它的能力边界。”蓝云假设,未来如果把AI直接接入到城市管理系统、交通系统、电力系统,产生的幻觉可能会给社会治理造成无法估量的后患。

“也许发生概率只有千分之一或十万分之一,一旦发生是不可逆转的。”蓝云的态度是,使用AI必须要保持冷静、清醒,警惕低概率、高风险的失误。

如何能够减少AI幻觉?几款大语言模型和几位专家都回答,首先应拓展训练模型的数据库,使用高质量、多样化的训练数据,并引入外部知识库和增强模型的常识推理能力,将模型的回答与可信数据库进行验证或交叉检查,减少偏见和错误。

另一方面,需要提升大语言模型的推理能力,比如在训练模型过程中,可以利用反事实修正来主动生成错误答案,让模型识别并纠正逻辑矛盾。当AI在生成回答时,同步启动事实核查机制,在AI生成回答后,再次对事实性信息进行联网校正。

而对于那些容易出现AI幻觉的领域,研发团队可通过使用多个专精特定领域的子模型,减少模型跨领域推理时的错误率与幻觉。

此外,蓝云补充,还需要从话题敏感度和清晰度边界来改进。其中,清晰度的边界,指AI要辨认清楚用户的需求,当AI把握不准问题时,回答就可能会过分用力。

与之相对应的,用户也需要在提问时发出更清晰明确的指令,尽量具体、明确地描述需求,减少歧义,帮助AI更好地理解任务,以防AI回答得模棱两可。

可以得出一个结论:AI幻觉是人工智能发展进程中不可避免的阶段。尽管可以通过优化模型、提高数据质量和参数数量来降低幻觉的发生概率,但很难完全避免。

从另一个角度看,这种缺陷,有时也可以化身为启发灵感的工具。例如,2024年诺贝尔化学奖得主David Baker团队,就利用AI幻觉引发的“错误折叠”现象,成功启发了新型蛋白质结构的设计思路。所以关键在于,人类如何引导和转化随机性和不确定性,而不是单纯依赖AI的自主输出。

邓玉辉坚信,尽管AI大模型的计算力在变大,但仍旧没法跟人脑相比。“我个人认为,AI永远只能够做人类的辅助,最终的决策权,仍应掌握在人类手中。”

南方周末记者 郑丹

责编 谭畅

免责声明:本内容来自腾讯平台创作者,不代表腾讯新闻或腾讯网的观点和立场。
举报
评论 0文明上网理性发言,请遵守《新闻评论服务协议》
请先登录后发表评论~
查看全部0条评论
首页
刷新
反馈
顶部