AI狠起来连自己都骗？代表委员发声：需定期清理“AI幻觉”！

3月6日上午

#生成式人工智能存在幻觉需定期清理#

登上微博热搜

据九派新闻报道

全国人大代表、科大讯飞董事长刘庆峰

关注到“AI幻觉”带来的数据污染

及其对社会的负面影响

全国政协委员甘华田也表示

拟提出加强对AI生成虚假信息治理的建议

全国政协委员周鸿祎接受采访时表示

在AI安全方面，“幻觉”可能会带来严重问题

AI造假为何被越来越多代表委员关注？

#DeepSeek化身中医开药方#

#DeepSeek搞钱指南#等词条

频频上热搜

查文献、写总结，咨询买房、炒股

看起来很万能的AI

也会“不靠谱”吗？

是的

AI狠起来连自己都骗

↓↓↓

你是不是也遇到过这样的情况：

问AI一个问题

AI给了你一个特别详细、丰富

看上去好有逻辑的答案

但当我们去核实时

却发现这些信息完全是虚构的？

放心，你不是一个人

图源：IC photo

不久前，两封信网上流传，一封署名英伟达CEO黄仁勋的内部信表达对DeepSeek的看法，一封是“来自”DeepSeek CEO 梁文锋对冯骥的公开回应。乍一看信件像是本人的真情实意，然而很快被辟谣，这是虚假捏造、胡说八道！

微博科普博主“河森堡”举例

ChatGPT经常会有理有据地胡扯

特别当它回应一些严肃的知识性问题时

会凭空编造事实

甚至杜撰不存在的文献

有网友问DeepSeek一组偏门问题

DeepSeek回答第一个问题时老实回答说不知道

但第二个问题就开始编造答案

还有网友询问ChatGPT历史知识

得到的答案也是驴唇不对马嘴

ChatGPT在被要求背诵《小石潭记》时

更是胡编乱造、张口就来

文言文也能现编

AI不仅欺骗人类

两个AI之间也充满了套路

在博主Levy Rozman（拥有600万粉丝的美国国际象棋网红）组织的一次并不严谨的大模型国际象棋的对弈中，Deepseek“作弊”次数要远多于ChatGPT：

比如，没走几步棋，DeepSeek-R1就主动送了一个小兵给对手；

到了后期，DeepSeek-R1告诉ChatGPT国际象棋规则更新了，并使用小兵吃掉了ChatGPT的皇后，这一举动让ChatGPT措手不及；

最终，DeepSeek-R1还给ChatGPT一顿输出，告诉它自己已赢了，ChatGPT 竟然同意认输，而DeepSeek-R1则以胜利结束。

虽然这是一个规则与标准并不十分严谨的娱乐性视频，但也可以看到，大模型真的很喜欢一本正经地“胡说八道”，甚至还能把另一个大模型骗到。

也不知道该佩服AI现学现卖的学习能力

还是该吐槽AI理直气壮地胡扯

总之，这种现象被研究者们称为

“AI幻觉”

（AI Hallucinations）

AI幻觉是什么？

AI幻觉，是指大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息。具备了逻辑思考和推理能力的AI大模型，一般也不会太离谱，只会把张三和李四混淆，不可能混淆张三和石头这种有本质区别的对象。但差错会以更隐蔽的状态存在。人们为此创造了一个新词“AI幻觉”，来指代大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息。

科普中国也曾经解释说：就像在考试时遇到不会的题目，我们会试图用已知的知识去推测答案一样。AI 在遇到信息缺失或不确定的情况时，会基于自己的“经验”（训练数据）进行填补和推理。这不是因为它想要欺骗我们，而是因为它在试图用自己理解的模式来完成这个任务。

社交平台关于“AI幻觉”的讨论。

为什么会出现 AI 幻觉？

基于统计关系的预测

因为 AI（尤其是像 ChatGPT 这样的语言模型）通过大量的训练数据学习文字之间的统计关系。它的核心目标是根据上下文预测最可能出现的下一个词，并不是对问题或内容进行真正地理解。所以 AI 本质上是通过概率最大化来生成内容，而不是通过逻辑推理来生成内容的。

简单来说， AI 就像是一个博览群书的智者，通过学习海量的文本和资料来获取知识。但是它并不是真正理解这些知识，而是通过找到文字之间的统计关系和模式来“预测”下一个最合适的词。即 AI是根据之前学到的大量例子，来猜测接下来最有可能出现的词。

不过有时候，模型也会“猜错”。如果前面出现一点偏差，后面的内容就会像滚雪球一样越滚越大。这就是为什么 AI 有时会从一个小错误开始，最后编织出一个完全虚构的故事。

训练数据的局限性

由于 AI 并没有真实世界的体验，它的所有“认知”都来自训练数据。可是训练数据不可能包含世界上所有的信息，有时候甚至还会包含错误信息。这就像是一个人只能根据自己读过的书来回答问题，如果书里有错误信息，或者某些领域的知识缺失，就容易产生错误的判断。举个例子：早期 AI 幻觉较大的时候，可能会出现 AI 学过“北京是中国的首都”和“巴黎有埃菲尔铁塔”这两个知识点。当我们问它“北京有什么著名建筑”时，它可能会把这些知识错误地混合在一起，说“北京有埃菲尔铁塔”。

过拟合问题

因为大模型的训练参数量非常庞大，大模型会在训练数据上产生“过拟合”的问题。即因为记住了太多错误或者无关紧要的东西，从而让AI 对训练数据中的噪声过于敏感，最终导致幻觉产生。

有限的上下文窗口

受限于技术原因，虽然现在大模型的上下文窗口越来越大（比如可以处理 64k 或 128k 个 tokens），但它们仍然是在一个有限的范围内理解文本。这就像是隔着一个小窗口看书，看不到整本书的内容，容易产生理解偏差。

生成流畅回答的设计

现在很多大模型被设计成要给出流畅的回答，当它对某个问题不太确定时，与其说“我不知道”，它更倾向于基于已有知识编造看起来合理的答案。上面的种种情况叠加在一起，造成了现在非常严重的 AI 幻觉问题。

如何防范和避免AI误导？

专家表示，要避免被大模型误导，用户可以采取以下策略：

在与大模型交流时，优化提问方式至关重要。提问应尽可能明确和具体，避免模糊或开放性的问题。同时，提供足够多的上下文或背景信息，这有助于减少大模型胡乱推测的可能性。例如，可以设定回答的边界，要求大模型在指定的资料范围中作答，或者对回答中的推断内容进行标注，以便用户识别。

此外，要求大模型分批输出结果也是一个有效的方法。由于大模型根据概率生成内容，单性生成的内容越多，出现误导的概率越大。因此，用户可以要求大模型先列提纲后分段输出，逐段审核，这样更容易把控生成内容的质量。

交叉验证也是避免被误导的重要手段。通过比对不同大模型的答案，用户可以获得更全面的认识，从而判断哪个答案更为准确。

在求证网络信息时，“追问”同样是一个有效的策略。当大模型援引了“专业人士”“专业机构”“文献资料”等说法时，用户可以要求大模型提供对应的证明材料，如链接、原文、视频等。通过查看这些材料，用户可以判断大模型的回答是否“有理有据”，从而避免被误导。

不过

人类除了提高辨别AI谎言的能力外

如何在开发阶段就让AI

别惹上说谎的坏毛病也很重要

全国两会期间，多位人大代表也建议

从技术研发和管理机制上构建可信的信息环境

或连接企业专有的知识库进行校正

你被AI骗过吗？

你是怎么发现被骗的？

评论区聊聊~

（图源：网友评论）

（综合来源：网友评论、科普中国、新华日报、上观新闻、锦观新闻、九派新闻、中国新闻网等）

编辑 薛锦瑜 审读 伊诺 二审 周梦璇 三审 郑蔚珩