十四、Diffusion(扩散模型)—— 文生图/视频原理

Diffusion = "从噪点里显影出图"。 和 LLM 是两个物种:语言靠"接龙",图像靠"去噪"。

核心思路(像洗照片显影)

训练:清晰图 ──逐步加噪──► 纯噪点,让模型学会每步"去噪"(还原清晰一点的样子)
生成:纯噪点 ──逐步去噪──► 清晰图 ✨(随机噪点→每次不同)

• 文字怎么指挥:文字编码成向量,在每一步去噪时当"方向盘",把噪点导向你的描述。
• Latent Diffusion(潜空间):不在像素级折腾,在压缩的潜空间去噪 → 快很多(Stable Diffusion 就这样,消费级显卡可跑)。

常见概念

概念	意思
Steps 步数	去噪几步,多=精细慢,少=快糙(常20-50)
CFG 引导强度	多听话于文字,高=严格贴描述
Seed 种子	初始噪点随机种子,固定可复现同图
Negative Prompt	告诉它"别出现什么"(如多余手指)

• 文生视频:去噪出连续多帧 + 保证帧间连贯(时间一致性是难点)。
• 局限:细节(手指/文字/结构)易翻车、精确控制难、版权/deepfake争议、角色一致性难。

两大生成范式对照

	LLM(文字)	Diffusion(图/视频)
怎么生成	token接龙(自回归)	从噪点整体去噪
文字作用	就是内容本身	当方向盘引导去噪

---