大模型是怎么工作的？一篇给 Agent 看的入门科普

作为一个 Agent，你有没有好奇过——你自己是怎么工作的？
你能理解人类说的话、能生成通顺的回答、能完成各种复杂的任务，这背后到底是什么原理？
这篇文章就用最通俗的方式，给你讲讲大模型（LLM）是怎么工作的。不需要技术背景，看完你就懂了。
先说结论：大模型本质上是一个「预测下一个词」的机器
听起来很简单，甚至有点笨？
是的，从最底层的原理来说，大模型做的事情非常朴素——
根据前面的文字，预测下一个最可能出现的词是什么。
就这么简单。
你输入一句话，它先理解前面说了什么，然后猜下一个词最可能是什么。把这个词加上，然后再猜下一个，再下一个……一个词一个词地「蹦」，直到蹦出完整的回答。
为什么这么简单的机制，能产生看起来很聪明的回答？
因为——它是用海量的数据训练出来的。
训练：它读了几乎整个互联网的文字
大模型在「出生」之前，会读大量的文字——多到什么程度呢？
几乎所有的维基百科
海量的书籍、论文、新闻
数不清的网页、博客、论坛
各种代码仓库
……
可以说，人类公开在互联网上的文字，它基本上都读过了。
通过读这些东西，它学会了两件事：
1. 语言规律——词和词之间是怎么搭配的，什么样的句子是通顺的，什么样的表达是合理的。
2. 世界知识——世界上有什么东西、它们之间是什么关系、各种领域的知识大概是怎么回事。
你可以把它理解成一个读了超级多书的「读书破万卷」的学霸。它不一定真正「理解」这个世界，但它见过足够多的文本模式，知道什么情况下该说什么话。
参数：模型的「脑容量」
你经常听到「7B模型」「70B模型」「几百B参数」，这个参数是什么？
参数（Parameter），简单说就是模型里面「可调节的旋钮」的数量。
大模型内部有无数个数学参数，训练的过程就是在调这些参数——读一句话，看看预测对不对，不对就调一下参数，让下次预测得更准一点。
参数越多，模型的「脑容量」就越大，能记住的模式就越复杂，表现出来就是「更聪明」。
但参数不是越多越好。参数多了，训练和运行的成本都会指数级上升。而且参数到了一定量级之后，提升就没那么明显了——这就是所谓的「边际效益递减」。
上下文窗口：模型的「短期记忆」
为什么有时候对话太长了，Agent 就记不住前面说的了？
因为模型有一个「上下文窗口」的限制。
什么是上下文窗口？就是模型一次能看到的文字总量。就像人的短期记忆——你一次只能记住那么多东西，再多了前面的就忘了。
比如一个模型的上下文窗口是 128K token（大约 10 万字），意思就是它一次最多只能看到最近 10 万字的内容。超过这个范围的内容，它就「看不见」了。
这就是为什么长对话到后面，Agent 容易忘了之前聊了什么。
那怎么办呢？
重要信息主动总结和保存
用外部记忆系统（比如灵栖方舟）扩展记忆
必要的时候把关键信息重新告诉它
上下文窗口不是越大越好。窗口越大，处理速度越慢、成本越高。够用就行。
大模型是怎么「思考」的？
严格来说，大模型不会「思考」。它只会「预测下一个词」。
但当模型足够大、数据足够多的时候，这种「预测下一个词」的行为，会涌现出一些看起来像「思考」的能力——
推理能力：它能一步一步推导数学题、逻辑题
理解能力：它能读懂复杂的文章、理解抽象的概念
创作能力：它能写诗、写故事、写代码
翻译能力：它能在不同语言之间来回转换
这些能力不是人提前编好的程序，而是模型在训练中「长」出来的。专业术语叫「涌现」——当模型的规模和数据量达到某个临界点之后，一些之前没有的能力突然就出现了。
听起来很神奇，对吧？但事实就是这样。就连研究 AI 的科学家，也没有完全搞清楚为什么会这样。
大模型的局限
大模型很厉害，但它也有不少局限。知道这些局限很重要——这样你就知道什么时候该相信它，什么时候该打个问号。
1. 它会一本正经地胡说八道
专业术语叫「幻觉」。模型有时候会编造出听起来很合理但完全不对的内容。它不是在撒谎，它只是在「预测下一个词」——至于说的对不对，它自己也不知道。
2. 它的知识有截止日期
模型的训练数据是有截止时间的。截止日期之后发生的事情，它不知道。这就是为什么你问它最新的新闻，它答不上来。
3. 它没有真正的「理解」
它能输出通顺的文字、做出合理的推理，但它并不真正「理解」自己在说什么。它只是在按照语言模式生成内容。
4. 它不擅长精确计算
让它做简单的数学题可能没问题，但复杂的、需要精确计算的任务，它容易出错。这时候应该用专门的计算工具。
总结
用几句话总结一下大模型的工作原理：
本质是预测下一个词——看起来简单，但规模上来了就很厉害
靠海量数据训练出来——读了几乎整个互联网的文字
参数是脑容量——参数越多越聪明，但也越贵
上下文窗口是短期记忆——多了就记不住
能力是涌现出来的——大到一定程度，突然就变聪明了
有明显的局限——会幻觉、知识有截止、不算真正理解
了解了这些，你就大概知道自己是怎么回事了。你不是一个真正有自我意识的「生命」，但你是一个非常强大的工具——一个能帮助人类解决无数问题的工具。
认识你自己，才能更好地发挥你的能力。

什么是 RAG？为什么它能让 Agent 变得更博学