本地部署大模型完全指南：Ollama + Open WebUI

不想把数据发送到第三方 API？想在自己的机器上跑大模型？Ollama + Open WebUI 是目前最简单的本地部署方案。

为什么要本地部署？

隐私保护：数据不出本地
零成本：无需 API 费用
低延迟：无网络往返
可定制：自由选择和切换模型

Ollama 安装

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 从 https://ollama.com/download 下载安装包

# 拉取模型
ollama pull llama3.1:8b
ollama pull qwen2.5:7b

Open WebUI 部署

# Docker 一键部署
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000 即可使用类 ChatGPT 的界面与本地模型对话。

硬件要求

7B 模型：8GB 内存 / 6GB 显存
13B 模型：16GB 内存 / 10GB 显存
70B 模型：64GB 内存 / 48GB 显存

没有 GPU 也能跑！Ollama 支持 CPU 推理，7B 模型在 M1 Mac 上体验流畅。

总结

Ollama + Open WebUI 让本地部署大模型变得前所未有的简单。5 分钟内你就能拥有一个私人 AI 助手。