从零部署本地大语言模型：Ollama + Open WebUI 完整实战指南（附详细步骤和代码）

前言

在 AI 大模型爆发的今天，你是否也想在自己的电脑上运行一个专属的大语言模型？本指南将手把手教你从零开始部署一套完整的本地 AI 对话系统，让你无需联网、无需付费 API，就能享受 AI 带来的便利。

技术栈：Ollama（模型运行）+ Open WebUI（Web 界面）+ DeepSeek/LLaMA（大模型）

适用场景：

• 个人开发者本地调试 AI 应用
• 企业内网私有化部署，数据不出网
• 学习研究大模型原理
• 搭建专属 AI 助手

一、架构介绍

在开始部署之前，我们先了解一下整体架构：

二、环境准备

2.1 硬件要求

2.2 软件要求

# 检查 Docker 是否安装 docker --version # 如果未安装，请先安装 Docker # Windows/Mac: 下载 Docker Desktop # Ubuntu: sudo apt install docker.io docker-compose 

三、Ollama 部署（核心组件）

3.1 方式一：直接安装（推荐新手）

Windows 安装：

1. 访问官网下载安装包：https://ollama.com/download
2. 双击安装，一路下一步
3. 打开命令行验证安装

# 验证安装 ollama --version # 输出示例 ollama version is 0.1.27 

Linux/macOS 安装：

# 一键安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 验证安装 ollama --version 

3.2 方式二：Docker 部署（推荐生产环境）

# 拉取 Ollama 镜像 docker pull ollama/ollama:latest # 创建数据目录（持久化模型文件） mkdir -p ~/ollama-data # 启动 Ollama 容器 docker run -d \ --name ollama \ --restart unless-stopped \ -p 11434:11434 \ -v ~/ollama-data:/root/.ollama \ ollama/ollama:latest # 查看运行状态 docker ps | grep ollama # 输出示例 # abc123 ollama/ollama Up 2 minutes 0.0.0.0:11434->11434/tcp ollama 

3.3 验证 Ollama 是否正常运行

# 测试 API 是否可用 curl http://localhost:11434/api/tags # 如果返回 JSON 格式的模型列表，说明运行正常 # {"models":[]} 

四、下载并运行第一个模型

4.1 选择合适的模型

4.2 下载模型

# 下载 DeepSeek R1 7B 模型（推荐中文用户） ollama pull deepseek-r1:7b # 下载 LLaMA 3.1 8B 模型 ollama pull llama3.1:8b # 下载 Qwen 2.5 7B 模型 ollama pull qwen2.5:7b # 下载过程示例 # pulling manifest # pulling 6a4b3c2d... 100% |████████████| 4.0 GB / 4.0 GB # pulling 5e8f7d9a... 100% |████████████| 32 KB / 32 KB # verifying sha256 digest # writing manifest # success 

4.3 命令行对话测试

# 运行模型进入对话模式 ollama run deepseek-r1:7b # 对话示例 >>> 你好，请用中文介绍一下你自己 我是 DeepSeek，一个由深度求索公司开发的大语言模型... 

4.4 API 调用测试

# 使用 curl 调用 API curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }' # 返回示例 # {"model":"deepseek-r1:7b","response":"Python是一种简洁、易读的高级编程语言..."} 

五、Open WebUI 部署（可视化界面）

虽然命令行可以对话，但体验不够友好。Open WebUI 提供了类似 ChatGPT 的 Web 界面，支持多轮对话、历史记录、Markdown 渲染等功能。

5.1 Docker 部署 Open WebUI

# 拉取 Open WebUI 镜像 docker pull ghcr.io/open-webui/open-webui:main # 启动容器（连接 Ollama） docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main # 如果 Ollama 也在 Docker 中运行，使用网络连接 docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ --network host \ -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main 

5.2 访问 Web 界面

打开浏览器访问：http://localhost:8080

1. 首次访问需要注册账号（本地存储，无需联网）
2. 登录后选择模型（如 deepseek-r1:7b）
3. 开始对话！

六、Docker Compose 一键部署（完整方案）

为了方便管理，我们可以使用 Docker Compose 同时部署 Ollama 和 Open WebUI。

6.1 创建配置文件

# 创建项目目录 mkdir -p ~/ollama-stack && cd ~/ollama-stack # 创建 docker-compose.yml cat > docker-compose.yml << 'EOF' version: '3.8' services: # Ollama 服务 ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "11434:11434" volumes: - ./ollama-data:/root/.ollama environment: - TZ=Asia/Shanghai deploy: resources: reservations: memory: 8G # Open WebUI 服务 open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: unless-stopped ports: - "8080:8080" volumes: - ./open-webui-data:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434 - TZ=Asia/Shanghai depends_on: - ollama volumes: ollama-data: open-webui-data: EOF 

6.2 启动服务

# 启动所有服务 docker compose up -d # 查看服务状态 docker compose ps # 输出示例 # NAME STATUS PORTS # ollama running 0.0.0.0:11434->11434/tcp # open-webui running 0.0.0.0:8080->8080/tcp # 查看日志 docker compose logs -f 

6.3 下载模型

# 进入 Ollama 容器下载模型 docker exec -it ollama ollama pull deepseek-r1:7b # 查看已下载的模型 docker exec -it ollama ollama list # 输出示例 # NAME ID SIZE MODIFIED # deepseek-r1:7b abc123def456 4.0 GB 2 minutes ago 

七、高级配置

7.1 GPU 加速（NVIDIA）

# 检查 NVIDIA Docker 支持 docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi # 修改 docker-compose.yml，添加 GPU 支持 services: ollama: image: ollama/ollama:latest deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] 

7.2 配置模型参数

# 创建 Modelfile 自定义模型 cat > Modelfile << 'EOF' FROM deepseek-r1:7b # 设置系统提示词 SYSTEM 你是一个专业的 AI 助手，擅长中文对话。 # 设置参数 PARAMETER temperature 0.7 PARAMETER num_ctx 4096 PARAMETER top_p 0.9 # 设置停止词 PARAMETER stop "<|im_end|>" PARAMETER stop "<|im_start|>" EOF # 创建自定义模型 ollama create my-assistant -f Modelfile # 运行自定义模型 ollama run my-assistant 

7.3 API 集成示例（Python）

import requests import json def chat_with_ollama(prompt, model="deepseek-r1:7b"): """调用 Ollama API 进行对话""" url = "http://localhost:11434/api/chat" payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False } response = requests.post(url, json=payload) result = response.json() return result["message"]["content"] # 使用示例 if __name__ == "__main__": answer = chat_with_ollama("请解释什么是机器学习？") print(answer) 

八、常见问题排查

Q1: 模型下载太慢怎么办？

# 使用国内镜像加速（如果有的话） # 或者手动下载模型文件后导入 # 查看下载进度 ollama pull deepseek-r1:7b --insecure 

Q2: 内存不足怎么办？

# 使用更小的量化模型 ollama pull deepseek-r1:1.5b # 1.5B 参数，仅需 2GB 内存 # 或者在启动时限制内存 docker run -d --memory="4g" --name ollama ollama/ollama 

Q3: Open WebUI 无法连接 Ollama？

# 检查 Ollama 是否运行 curl http://localhost:11434/api/tags # 检查容器网络 docker network inspect bridge # 重启服务 docker compose restart 

Q4: 如何更新模型？

# 更新到最新版本 ollama pull deepseek-r1:7b # 删除旧模型 ollama rm deepseek-r1:7b 

九、总结

通过本指南，你已经学会了：

• ✅ 使用 Docker 部署 Ollama 大模型引擎
• ✅ 下载和运行主流开源大模型（DeepSeek、LLaMA、Qwen）
• ✅ 部署 Open WebUI 获得 ChatGPT 体验
• ✅ 使用 Docker Compose 一键部署完整方案
• ✅ Python API 集成调用

相关资源

• Ollama 官网：https://ollama.com
• Open WebUI：https://github.com/open-webui/open-webui
• 模型库：https://ollama.com/library
• DeepSeek：https://github.com/deepseek-ai

如果本文对你有帮助，欢迎点赞收藏！有问题欢迎评论区交流 👇