二、模型是怎么"养成"的(训练三部曲)

步骤	干嘛	结果
① 预训练 Pretraining	全网文本上猜下一个词	博学但"没教养"的基础模型
② 监督微调 SFT	用"问题→优质回答"教它	学会好好应答(变助手)
③ 人类反馈 RLHF	人类打分,往"更受欢迎"调	有礼貌/乐于助人/会拒绝(塑造性格)

• 训练 vs 推理:训练=学(厂商做,极贵);推理=用(你调 API 时)。用的时候模型是冻结的,不会因聊天变聪明。
• 采样 & Temperature:模型算出"下个词的概率分布"后随机采样。低=稳定保守,高=发散有创意(所以同问题每次答略不同)。
• Scaling 规模法则:参数/数据/算力越多 → 越强,甚至"涌现"新能力。

---