九、AI 的局限与天花板 ⭐ 清醒地用 AI

大多数局限不是 bug,是工作原理的必然结果。会用 AI = 围着这些局限做设计。

来自"猜下一个词"

• 幻觉治不断根:目标是"像样"不是"求真";RAG/工具能减少,消灭不了 → 高风险场景永远要人复核。
• 没有真正的理解:学的是统计模式,不是理解世界;遇真正新问题易露馅。
• 推理是脆的:换说法/加干扰可能就错;多步逻辑错一步全盘皆输 → "很会考试"≠"真会思考"。

来自"训练方式"

• 知识冻结 + 有截止日期:不知训练后的事(靠 RAG/联网补);用时不学习(换对话就忘)。
• 带偏见:人类数据的偏见都学了。
• 不会真正成长:模型是死的;"越用越懂你"是靠外部记忆文件模拟的。

工程层面

• 上下文窗口有限 / 输出不稳定(采样随机)/ 不会验证自己对错 / 贵且慢 / 长任务会崩(错误累积)。

行业天花板

1. 高质量数据快枯竭 —— "喂更多数据"这条路变难。
2. 算力/能耗/成本 —— 边际收益递减。
3. 可靠性 —— 90分易,99.9分极难,是严肃行业落地最大障碍。
4. 长程自主可靠性 —— Agent 独立跑几十步不出错还很难。
5. "Scaling 还够不够" —— 继续堆规模能否质变?无定论,当前最大悬念。

⭐ 对建应用的人意味着什么

会幻觉      → 高风险加人工复核 + RAG + 出处
知识冻结    → RAG/工具补实时信息
不稳定      → 关键流程加校验/约束/结构化输出
长任务会崩  → Agent别放太长,加检查点/审批
贵          → 简单任务用小模型 + 缓存
可靠性有限  → 定位"辅助提效",不是"全自动替代"

心法:把 AI 当"很能干但会犯错的助手",不当"永远正确的神"。围着它的局限做工程设计,才能做出靠谱产品。

---

---