早上打开电脑，习惯性先刷了一圈AI圈子的消息。Claude又出了新功能，OpenAI那边据说在憋什么大招，Midjourney更新了V6.1的微调版本，画人手的准确率终于从惨不忍睹提升到了勉强能看。我一边嚼着面包一边想着今天该写点什么，然后随手把一篇技术文档扔给了Gemini，让它帮忙总结一下核心观点。
结果呢？翻车了。
事情是这样的。我手头有一篇关于LoRA微调的最新论文，大概四十多页，技术细节密密麻麻。我懒得从头啃，就让Gemini给我提炼出关键的技术创新点。它很痛快地给我回了三段话，结构清晰，术语专业，看起来很靠谱。我扫了一眼，觉得没什么问题，就直接复制粘贴进了我正在写的博客草稿里，甚至没去核对原文。
这大概就是我今天犯的最蠢的错误。
下午有个读者在后台留言，说我文章里关于LoRA秩的设定部分写错了。他说我引用的那几个数值跟原论文完全对不上，而且我提到的那个所谓的“创新点”其实在去年的另一篇论文里就有了。我第一反应是他看错了，毕竟我用的可是AI总结，AI怎么会出错？然后我翻出原论文，一行一行对照着看。
好家伙，Gemini给我编了个像模像样的“创新点”，还附带了一组看起来特别合理的实验数据。数据来源、对比基线、提升百分比，全都写得有鼻子有眼。唯一的问题就是——这些东西在原论文里根本不存在。
我整个人都不好了。
更让我崩溃的是，我后来仔细回想了一下，其实Gemini在输出那几段话的时候，底部的确有一行小字提示说“以上内容由AI生成，请核实关键信息”。我当时看到了，但选择性忽略了。因为我潜意识里觉得，这么专业的术语堆砌，不可能有太大问题。而且我用了这么久的AI工具，之前也没出过这种明显的编造情况。
说到底，是我自己放松了警惕。
这让我想起上周跟一个做AI安全的朋友聊天，他说他们团队做过测试，让GPT-4、Claude 3.5和Gemini分别回答一些专业问题，然后人工核查准确率。结果发现，当问题越专业、术语越密集的时候，AI编造内容的概率反而越高。因为模型在训练数据里见过大量类似的术语组合，它可以很自然地拼接出一段看起来合理但查无实据的内容。这种现象在学术界有个专门的词，叫“幻觉”，但我觉得叫它“自信的胡说八道”更贴切。
说实话，我当时有点生气，但很快就冷静下来了。因为我知道这不是AI故意坑我，它没有主观恶意。它只是在执行一个概率预测的任务：根据我给的上下文，预测最可能的下一个词是什么。它不在乎这些词组合起来是不是事实，它只在乎这些词组合起来是不是“看起来像事实”。
但问题就在这里。我们人类的大脑天然就对流畅、自信、结构清晰的文本有一种信任感。当AI用非常笃定的语气告诉你某件事的时候，你会下意识觉得它是对的。尤其是当你赶时间、或者对那个领域不那么熟悉的时候，这种信任感会更强烈。
我今天就是被这种信任感摆了一道。
好在那个读者比较耐心，给我详细解释了他发现的几个问题，还贴了原文的截图。我赶紧把文章撤下来重新改，把Gemini总结的那部分全部删掉，自己又从头读了一遍论文，手写了一份总结。整个过程花了将近三个小时，比我直接用AI总结多花了七八倍的时间。
但这件事让我想明白一个道理：用AI辅助工作，最危险的不是AI本身不够聪明，而是我们太容易把它的输出当成最终答案。我们太懒了，或者说我太懒了。我习惯性地把思考和验证的工作外包给了AI，然后自己只负责搬运。这跟以前那种“百度一下然后直接复制粘贴”的偷懒方式有什么区别？只不过百度查出来的东西至少还有个来源链接可以点开看，AI编出来的东西连个假引用都懒得给你。
我今天还试了一下用AI写代码。我让Claude帮我写一个Python脚本，用来批量处理一些数据文件。它写得很快，代码看起来也很规范，各种异常处理都考虑到了。我直接复制进终端运行，结果报错。报错信息是一个模块导入路径不对。我仔细看了一眼它写的代码，发现它引用了一个叫“utils_v2”的本地模块，但这个模块根本就不存在于我的项目里。它凭空创造了一个模块，还理直气壮地在代码里import了它。
这跟论文总结那边的幻觉完全是同一个套路。模型觉得“这个场景下大概率会有这样一个工具模块”，于是它就写了。它不是在写代码，它是在“猜”代码。
我后来把这个问题发到技术群里，有个老哥回复说他也遇到过类似的事。他用GPT-4写了一个前端页面，AI给了他一整套完整的HTML+CSS+JS代码，看起来一切正常。结果部署上线之后，用户点某个按钮会触发一个不存在的API接口。那个API接口完全是AI自己编的，因为它在训练数据里见过无数类似的接口命名模式，所以它觉得“这里应该有一个这样的API”。但实际开发里，那个接口压根没人写过。
这种问题在代码生成里特别隐蔽，因为代码本身不会报错——AI编出来的那个API调用语法是对的，只是URL指向了一个不存在的地址。前端页面正常加载，按钮正常显示，用户正常点击，然后得到一个404。你排查半天都想不到问题出在AI生成的代码里。
所以我现在给自己定了一个规矩：凡是AI生成的内容，不管看起来多靠谱，必须至少做一次事实核查。尤其是那些技术细节、数据引用、代码逻辑，必须人工走一遍。我知道这听起来很麻烦，但总比被读者追着说“你写错了”要强。
而且我发现自己还有一个毛病，就是特别容易相信AI输出的格式。它用列表、用加粗、用分段，把这些内容整理得井井有条，我就觉得这一定是对的。但实际上，格式的严谨跟内容的真实是两码事。AI可以把一个完全错误的事实包装得漂漂亮亮，比我自己写的还工整。
今天这件事也让我重新思考了一下“AI助手”这个定位。以前我总觉得AI是帮我省时间的工具，我用它来替代那些重复性的、低价值的劳动。但今天我发现，有些劳动是不能替代的，比如验证信息真伪。这个环节如果也交给AI来做，那就是无限套娃——你用AI验证AI，最后得到的是一个逻辑自洽但完全脱离现实的闭环。
我现在满脑子都是那个读者后台留言的画面，他语气很客气，说“猫哥，你这里好像写错了”。但我能感觉到他内心的潜台词是：你不是号称AI布道师吗？怎么连AI生成的假内容都分辨不出来？这让我觉得特别丢人。
好了，吐槽完了，该去改稿子了。今天这一课交得有点贵，但至少记住了。以后谁再跟我说“AI永远不会犯错”，我就把今天这篇日记甩他脸上。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现