Appearance
六、AI 应用架构
编排层当大脑,按请求类型路由到 Prompt/RAG/Agent,底下配缓存/护栏/监控/成本控制。
分层架构
① 用户层 App / 网页 / 微信
② 应用层 Laravel(鉴权、业务逻辑)
③ 编排层 ⭐ 路由决策:简单→Prompt / 要知识→RAG / 要干活→Agent
④ 能力层 LLM · 向量库 · Tools
⑤ 支撑层 缓存 · 护栏 · 日志 · 成本监控 · 评估 · 降级- 不是全用最重方案:简单需求简单办(省钱省时),复杂的才上 Agent。
- 支撑层是 Demo 和生产的区别:缓存(省钱)、护栏(防注入)、成本监控(AI 花钱如流水)、评估(防退化)、降级(AI 挂了别拖垮业务)。
- 数据边界:调外部大模型 = 数据出网,敏感信息要脱敏;要闭环就换本地 Ollama。
- 参考栈:Laravel + pgvector + Redis + Claude/GPT(或 Ollama),现有栈天然能承载。
演进路线(别一步到位)
V1 Prompt 直调(AI 出题)
→ V2 加 RAG(智能答疑)
→ V3 加 Agent(查作业/发提醒/出报表)
→ V4 加支撑层(缓存/监控/护栏,上生产)
→ V5 按需本地化/优化(Ollama / rerank / 微调)📚 学习路径(务实版)
阶段0 用好 AI 工具(Cursor/Claude Code/MCP)← 已在此
阶段1 API 集成(token/prompt/结构化输出/流式)← 重点,边给网校加功能边学
阶段2 RAG(embedding/向量库)← 企业落地核心
阶段3 Agent(tool calling/MCP/ReAct)
阶段4 本地模型/私有化(Ollama/开源模型)← 内网需求
阶段5 底层原理/训练(可选,转算法才碰)关键建议:别脱离项目学。每学一阶段就给网校加一个 AI 功能。
🗺️ 产品格局速查(能否数据不出内网)
| 产品 | 数据不出内网 | 说明 |
|---|---|---|
| Manus 官方 | ❌ | 纯云端,无本地版 |
| Cursor 官方手机远程 | ❌ | 大脑上云,要 git |
| Claude Code Remote Control | ✅ | 大脑留本地 |
| Codex 本地配对 | ✅ | 大脑留本地 |
| AI Manus / OpenManus(自托管) | ✅ | 通用 Agent,数据留内网 |
| Ollama + 开源模型 | ✅ | 彻底闭环(连模型都本地) |
规律:越"通用/云端/开箱即用",越服务公开数据和个人场景;越要落地企业核心数据,越得自托管。
🔑 核心词汇速查
| 词 | 大白话 |
|---|---|
| Token | 文字最小处理单位,计费/长度按它算 |
| Context Window | 一次能看的最大 token,超出会忘 |
| Hallucination | 一本正经地瞎编 |
| Prompt Engineering | 把指令写好让输出更准 |
| Temperature | 随机性旋钮,低=稳,高=创意 |
| Embedding | 文字→向量,让机器算语义相似 |
| RAG | 检索资料喂给 AI,治幻觉+懂私有数据 |
| Agent | LLM+工具+循环,能自主干活 |
| Tool/Function Calling | 让模型调你的函数 |
| MCP | AI 接外部工具的标准协议 |
| Fine-tuning | 重训模型参数教它行为/风格 |
| LoRA | 便宜的微调法,只训一小块 |
| RLHF | 人类反馈训练,塑造模型"性格" |
| Ollama | 本地跑开源模型,数据不出机器 |
✅ 三个决策口诀(收藏)
- 定制 AI:知识→RAG,临时→Prompt,固定行为且都搞不定→微调
- 架构:简单需求简单办,渐进演进,数据敏感换本地
- 判断任务适不适合云端 Agent:"愿不愿让外包实习生用公网信息帮我做?" 愿意→云端,不愿→自托管