十五、本地部署与开源模型 ⭐ 数据不出内网的答案

本地开源模型(Ollama + Qwen/DeepSeek)= 数据不出内网 + 省钱 + 可控。 代价:能力略逊顶尖闭源、要自己运维。

为什么用本地

数据不出门(内网/涉密刚需)· 免API费 · 可离线 · 可定制微调 · 无审查限流。

开源 vs 闭源

	闭源(云API)	开源(可本地)
代表	Claude/GPT/Gemini	Qwen、Llama、DeepSeek、Mistral
数据	出网	留本地
能力	通常最强	追赶中,顶尖开源已很能打
成本	按量付费	免费(要硬件)

中文场景:Qwen、DeepSeek 强,国内本地部署热门。

怎么跑 —— Ollama(本目录已有脚本)

ollama pull qwen2.5        # 拉模型
ollama run qwen2.5         # 跑起来对话
# 提供 localhost:11434 API,代码可调(像调OpenAI但全本地)

其他:vLLM(生产级)、LM Studio(带界面)、llama.cpp(轻量)。入门用 Ollama 最省事。

硬件门槛 & 量化

大小	需要	用途
1-3B	8G	轻量,快但弱
7-8B ⭐	16G内存/8G显存	日常甜点区
14-32B	24G+显卡	明显更强
70B+	多卡/服务器	接近顶尖

• 量化(Quantization):压缩模型,精度略降但塞进小显卡。7B 原始约14G → Q4量化约4-5G,普通显卡可跑。(qwen2.5:7b-q4 的 q4 就是量化等级)

⭐ 完整"数据不出内网"AI 栈

本地 LLM(Ollama+Qwen/DeepSeek) + 本地 Embedding(bge/m3e)
  + pgvector(向量库) + Laravel 应用
= 内网 RAG 智能答疑,代码/数据零外流 ✅

这是"数据不出内网"困惑的终极答案:整条链路本地化。

什么时候用本地 vs 云

本地开源:数据敏感/内网 · 高频省钱 · 离线 · 任务没那么难
云API:  要最强能力/复杂推理 · 数据不敏感 · 不想运维
混合:   敏感数据→本地,高难任务(脱敏后)→云API

甜点:7-32B 量化模型,消费级硬件可跑,日常够用。顶尖闭源仍更强,但开源差距在缩小。

---

---