上周五晚上 11 点，我对着电脑屏幕发呆。甲方要的 3000 字产品文案，deadline 是明早 9 点。我喝了第三罐红牛，打开 ChatGPT，敲了句话：“帮我写一篇智能手表的推广文，语气要像科技博主。”
3 秒后，它吐出来 800 字。我读完，后背一凉——这玩意儿把我平时写东西的臭毛病全学去了，什么“颠覆性体验”、“重新定义穿戴设备”，连我惯用的那个破折号——都一模一样。
但真正让我慌的不是它写得像，而是它写得比我快。3000 字，从构思到排版，它用了 47 秒。我平时最快也得 3 个小时。
那天晚上我没睡，翻了一宿资料，就想搞明白一件事：这货到底是怎么听懂人话的？它凭什么能把我脑子里的想法，变成一段一段像人写出来的文字？
后来我折腾了大概一周，试了 7 个不同的模型，翻了几十篇论文的民间解读版，终于搞懂了它的底层逻辑。说实话，弄明白之后，我觉得这玩意儿没那么神，但确实挺吓人的。
先说结论：大语言模型本质上就是个“超级造句机”。它根本不懂你在说啥，它只是根据你给的上文，猜下一个字该是啥。
怎么猜的？靠概率。
举个例子。我说“今天天气真”，你脑子里大概率会蹦出“好”、“热”、“冷”、“不错”这几个字。你为什么会想到这些？因为你活了二十多年，听过无数次“今天天气真好”、“今天天气真热”这种搭配。你的大脑经过无数次训练，已经自动学会了这种“字跟字之间的搭配规律”。
大模型的训练逻辑一模一样，只不过它看的语料量是你的几百万倍。GPT-3 训练的时候看了大概 45TB 的文本数据，相当于把整个英文维基百科从头到尾读了 4 万遍。它就是在这些数据里，一个字一个字地学：在“今天天气真”后面，出现“好”的概率是 37%，出现“热”的概率是 28%，出现“冷”的概率是 15%。
然后它选概率最高的那个字吐出来。接着，它把吐出来的字跟前面的字拼在一起，继续猜下一个字。循环往复，直到凑成一段完整的话。
所以你说它“懂”吗？它不懂。它连“天气”是什么意思都不知道，它只是知道“今天天气真”后面跟着“好”比较顺。
但问题来了——如果只是猜下一个字，那它为什么能回答复杂问题？比如我问它“怎么用 Python 爬取网页数据”，它凭什么能给我写出一段能运行的代码？
这里有个关键机制，叫“注意力”。你可以把它理解成模型在猜字的时候，会回头看一眼你之前说过的话，然后给不同的词分配不同的“权重”。
举个例子。我说“苹果很好吃，但我不喜欢苹果公司的霸道”，这句话里“苹果”出现了两次，但第一个指的是水果，第二个指的是公司。模型在猜下一个字的时候，会回头看“好吃”和“公司”这两个词，然后给“好吃”前面的“苹果”分配“水果”的权重，给“公司”前面的“苹果”分配“企业”的权重。
这就是为什么它能区分“苹果好吃”和“苹果公司”。它不是真的理解了，它只是学会了这种“上下文关联”的模式。
更恐怖的是，这种“注意力”机制可以叠加很多层。GPT-3 有 96 层注意力层，每一层都在做这种“回头看 + 分配权重”的操作。经过 96 层之后，模型对上下文的捕捉能力已经强到离谱——你给它一段 8000 字的小说，它甚至能记住第 3 页出现的一个配角名字，在最后一页用到它。
我试过让 ChatGPT 帮我续写一个我自己都快忘了设定的科幻故事。我给了它前面 5000 字，然后说“帮我写第 6 章”。它写出来的内容，把我 3000 字前埋的一个伏笔给挖出来了，还用它。我当时就骂了一句脏话——我自己写的时候都差点忘了那个伏笔。
但这还不是它最吓人的地方。真正让我觉得这玩意儿要变天的是“指令微调”和“人类反馈强化学习”。
简单说，“指令微调”就是：在它学会猜字之后，再拿一批“问答对”去训练它。比如给它看 10 万组“用户问：帮我写个请假条。AI 答：尊敬的领导，因…”这种例子。训练完之后，它就学会了“当用户用问句开头时，我该输出一个完整的回答，而不是只猜下一个字”。
“人类反馈强化学习”更狠。人类标注员会给模型的多个回答打分，比如“这个回答更准确”、“这个回答更有礼貌”、“这个回答更简洁”。模型根据这些分数，调整自己的权重，让它以后更倾向于输出高分回答。
我朋友在一家 AI 数据标注公司干过，他说他们组里有个活儿是专门给模型的回答打分的。有一次他们遇到一个模型，回答技术问题特别准确，但语气很冲，像极了那种不耐烦的知乎大 V。他们组一致决定给低分，逼着模型改。后来那个模型再回答技术问题，开头都变成“这个问题很有意思，我来帮你梳理一下”——跟客服似的。
所以你现在看到的 ChatGPT 那种“既专业又客气”的语气，不是它天生自带的，是成千上万个标注员拿着打分表，一票一票投出来的。
讲到这里你可能会问：那它为什么还会犯错？为什么有时候会胡说八道？
因为它的本质还是猜概率。当它遇到一个训练数据里没见过的问题，或者这个问题本身就有歧义，它就会从概率池子里捞一个“看起来最像答案但实际上是错的”东西出来。
我前两天问它“2024 年世界杯冠军是谁”，它回答“阿根廷”。2024 年根本没有世界杯，它只是觉得“世界杯”和“阿根廷”这两个词在它的数据库里关联度太高，直接猜了一个最可能的答案。它不会推理“今年有没有世界杯”，它只是觉得这样接下去比较顺。
这就是所谓的“幻觉”。它不是故意骗你，它只是太想接话了。
现在你大概明白了吧？大语言模型就是个“读过几万亿字、会看上下文、经过调教、特别会接话”的超级鹦鹉。它没有意识，没有理解，没有创造力。但它能模仿你见过的任何一种文字风格，能记住你看过的所有书，能在一秒内翻完你一辈子都读不完的材料。
我后来用那个帮我写文案的模型，给自己写了一份辞职信。不是因为被它吓到了，而是我想通了——既然它能把 3 小时的工作压缩到 47 秒，那剩下的 2 小时 59 分钟，我为什么不拿去干点机器干不了的事？
比如，想想怎么让它给我打工。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现