本地 Ollama 完全离线 — 模型只跑自己设备上
Ollama 是什么
Ollama 是在本地机器上跑大模型的工具——下载模型文件后,推理全部在本地硬件(CPU / GPU / NPU)上执行,完全离线、不产生 API 费用、数据不出设备。
在 ZeroAI 里怎么用
ZeroAI 把 Ollama 当作一个 Provider,和其他 7 家并列:
- 在手机或局域网电脑上装好 Ollama
- 拉取模型:
ollama pull qwen2.5:7b(或其他你要的模型) - 在 ZeroAI 的模型供应商配置里打开 Ollama,填入 Ollama 服务的地址(本地默认
http://127.0.0.1:11434) - 智能体调用 Ollama 时,请求直接从手机发到 Ollama 服务——全在局域网
什么时候选 Ollama
好处
- 完全离线——手机断网也能用(前提是 Ollama 服务可达)
- 零 API 费用——模型下载一次永久免费
- 数据不出设备——最严格的本地优先
- 作为兜底——其他供应商 429 限流或宕机时,Ollama 是最后的可靠选择
限制
- 手机跑 7B 模型可能发热——骁龙 8 Gen 2 或以上能跑起来,但电池消耗大
- 小模型能力有限——7B 参数的模型在复杂推理、长文本上远不如云端 GPT-4o 或 Claude Opus
- 局域网部署——Ollama 通常跑在 PC 或 NAS 上,手机连同一 WiFi 即可
推荐搭配
- 主力:DeepSeek 或 Qwen(便宜、效果好)
- 兜底:Ollama 本地模型(断网、限流时救急)
资料来源:推广站 zeroai.wrwq.fun、Ollama 官方文档