八、多模态(Multimodal)

秘密:万物皆可 token 化。 图片切块、声音切段,都转成和文字一样的向量,喂给同一个模型。

• 核心顿悟:模型不在乎输入原本是文字还是图片——到它眼里全是向量。所以能同时理解"图 + 文"。
• 图片怎么处理:切成小块(patch)→ 视觉编码器转向量 → 和文字向量拼一起喂模型 → 靠 Attention 关联理解。
• 训练:用海量"图+文字描述"配对,学会图像向量↔文字含义的对应。

⭐ 关键区分:看懂图 vs 生成图(两套机制)

	理解图片(看懂)	生成图片(画出)
机制	和 LLM 一样(图→token)	Diffusion 扩散(从噪点一步步去噪)
例子	"这图里有什么"	"画一只戴帽子的猫"

• 声音/视频同理:切段/抽帧 → token 化 → 喂模型。
• 网校用途:拍照搜题、作业批改、课件理解、语音答疑、视频摘要。
• 局限:细节(小字/表格/空间关系)易看错;仍会幻觉;图像 token 更贵。

---