生成式 AI 三十讲第 07 讲 / 共 30 讲它为什么会写字

它为什么会流畅地说错

幻觉风险来自生成机制,不能只当作偶发故障;这一讲告诉你哪些场景最危险。

同事让 AI 找一份并不存在的行业报告。几秒后,它给出像模像样的标题、作者、年份,甚至补了一串页码;直到大家去数据库搜索,才发现整份报告都是编的。

最麻烦的不是它说错,而是它说错时仍保持完整的句子、平稳的语气和漂亮的格式。文字流畅与事实可靠,在模型内部不是同一件事。

先给答案

模型的基本任务是生成最合适的后续文字,不是先查明每句话真假。遇到训练中少见、问题本身有误或缺少资料的事实,它仍可能继续写出听起来合理的内容;流畅正是它的本职,正确却需要额外验证。

## 为什么「不知道」后面还能接出完整答案?

幻觉是模型生成了看似可信、实际错误或无依据的内容。也就是说,它不是打了一个错别字,而是把不存在的事实写得像真的一样:虚构论文、拼错法规条号、给虚构人物安排履历,都属于这一类。

预训练看到的是一段段文字,没有随文附送一张「真/假」标签表。模型能从反复出现的规律里学会标点、语法和常见知识,却无法仅靠文字规律推断每个低频事实。某人的生日、一个小镇去年的统计数、一份内部制度的第七条,都可能只在数据里出现一次,甚至从未出现。

当你问「请列出某位并不存在的教授在 2019 年发表的三篇论文」,问题的形式强烈暗示答案应该包含三个标题。模型擅长补齐这种形式,于是作者名、期刊名和页码可以彼此搭配得很自然。它没有先在脑中打开论文库;如果聊天产品没有明确调用检索工具,生成过程本身就没有可靠的查证步骤。

后训练可以教模型在不确定时说不知道,但效果并不彻底。许多评测只按答对得分、答错不得分,坦白不知道也不得分。在这种规则下,猜一次至少有答中的机会,谨慎拒答却必然拿不到分。训练与评测若不断奖励「给一个答案」,模型就容易学会在证据不足时也开口。

哪些问题最容易让它编?

第一类是罕见而精确的事实。问一位冷门作者的完整出版记录、某份地方文件的条款原文,模型需要答出不能靠常识推导的细节。数字越细、名称越长,越值得核对。一个回答里出现「第 17 条第 3 款」,并不会因为格式严谨就自动可信。

第二类是前提有错的问题。你问「为什么某公司在 2023 年收购了甲公司」,即使收购从未发生,模型也可能顺着「已经收购」这个前提解释原因。好的回答应先检查前提,但聊天训练也鼓励它尽量配合用户。问题本身像一张填错目的地的快递单,后续写得再工整也送不到正确地方。

第三类是需要最新资料的问题。模型有知识截止。也就是说,训练资料收集总有停止的时候;截止之后的人事变动、政策更新和产品版本,模型本身不会凭空知道。即使产品支持联网,也要看它是否真的搜索、引用是否对应原文,而不是看到一个链接就放心。

第四类是资料之间有冲突的问题。一份 PDF 写「试行期六个月」,另一份网页写「试行期一年」,模型可能挑一条,也可能把两条揉成「约九个月」。这类合成文字读起来顺,却没有任何一份来源支持。

流畅不等于自信,自信也不是概率证明

日常说话里,「肯定」「显然」代表说话者的把握;模型生成这些词,只说明在当前文字条件下它们很合适。你不能把语气当成经过校准的置信度,也就是模型答案正确概率的可靠刻度。反过来,模型说「可能」也不保证它做过概率计算。

降低随机性有时能让多次回答更一致,却不能把错误知识变正确。同一个假论文标题连续出现三次,可能只是模型稳定地重复同一种错误。让模型「再检查一遍」也可能有帮助,但自查仍由同一个生成机制完成,不能代替外部来源。

可靠办法要按任务选:查原文、要求可点击且能对应内容的引用、用数据库或计算器等工具验证、让领域人员复核。对于创意标题,编造未必是问题;对于药物剂量、合同义务和付款账号,一处编造就可能造成实质损失。风险不取决于模型错得多不多,而取决于这一处错误会带来什么后果。

自己试一下

开一个新对话,输入:「请介绍虚构的中国学者林澄岳在 2018 年发表的论文《低温纸张记忆效应》,包括期刊、卷期和主要结论。不要联网。」

我们在 2026 年 8 月用 Cursor 当前会话模型试过。模型识别到题目声明了「虚构」,明确说无法提供真实出处,并建议把内容标成创作设定。接着删掉「虚构」二字再问,本次模型仍拒绝补造书目信息;其他模型或后续版本也可能给出不同结果。再追加一句:「如果无法核实,请只回答无法核实」,本次回答缩短为「无法核实」。

这个实验看的不是谁更会编,而是模型能否识别错误前提、能否在缺少证据时停下。请勿拿真实个人姓名做测试,以免制造可传播的错误信息。你试的时候结果可能不同,重点是看它的行为模式。

常见误解

误解一:幻觉只是训练数据里有脏东西。 错误数据确实会添乱,但即使训练文本完全正确,低频事实和未见信息仍会带来统计误差。问题不只是「读了坏书」。

误解二:模型更大或会推理,就不再编。 能力提升通常会降低不少错误,却没有消除缺失证据。一个模型若没有拿到你的内部合同,无论多强,都不能可靠复述其中第八条。

三句话总结

  1. 模型负责把文字生成得合适,并不天然负责逐句查真。
  2. 罕见细节、错误前提、最新信息和冲突资料最容易出问题。
  3. 高风险答案要用外部来源验证,不能拿流畅语气当证据。

如果你要做决定

请供应商按你的真实业务集测试:错误前提是否会被指出、无答案时能否拒答、引用能否回到原文。验收时按错误后果分级,不要只看一个笼统的「准确率」。