一、LLM 的本质

• 本质:根据前文,预测下一个最可能的词(token),不断重复"接龙"。
• 智能是副产品:要在全网文本上都猜得准,模型被迫学会了语法、事实、逻辑、代码 → "智能"是为了"猜准"而涌现的。
• 为什么幻觉:它的目标是"生成像样文字",不是"说真话"。不知道就编一个最合理的 → 幻觉是原理的必然副产品。
• Context 就是一切:模型没记忆、不联网,只能基于当次输入回答。喂什么上下文,决定答得多好。
• Attention(注意力):Transformer 核心机制,让模型猜词时自动"关注"前文的关键部分。

关键限制

• Token:文字的最小处理单位,计费和长度都按它算(1 汉字 ≈ 1-2 token)。
• 上下文窗口:一次能看的最大 token 数,超出会"忘"。

---