从零部署本地大语言模型：Ollama + Open WebUI 完整实战指南（附详细步骤和代码）

优质文章学习记录

— 7 min read

前言

在 AI 大模型爆发的今天，你是否也想在自己的电脑上运行一个专属的大语言模型？本指南将手把手教你从零开始部署一套完整的本地 AI 对话系统，让你无需联网、无需付费 API，就能享受 AI 带来的便利。

技术栈：Ollama（模型运行）+ Open WebUI（Web 界面）+ DeepSeek/LLaMA（大模型）

适用场景：

  • 个人开发者本地调试 AI 应用
  • 企业内网私有化部署，数据不出网
  • 学习研究大模型原理
  • 搭建专属 AI 助手

一、架构介绍

在开始部署之前，我们先了解一下整体架构：

组件作用端口
Ollama大模型运行引擎，负责模型加载和推理11434
Open WebUI类 ChatGPT 的 Web 界面，提供对话功能8080
模型文件DeepSeek、LLaMA 等大语言模型-

二、环境准备

2.1 硬件要求

模型大小最低内存推荐内存GPU（可选）
7B 参数8GB16GB6GB 显存
14B 参数16GB32GB12GB 显存
70B 参数64GB128GB48GB 显存

2.2 软件要求

# 检查 Docker 是否安装 docker --version # 如果未安装，请先安装 Docker # Windows/Mac: 下载 Docker Desktop # Ubuntu: sudo apt install docker.io docker-compose

三、Ollama 部署（核心组件）

3.1 方式一：直接安装（推荐新手）

Windows 安装：

  1. 访问官网下载安装包：https://ollama.com/download
  2. 双击安装，一路下一步
  3. 打开命令行验证安装
# 验证安装 ollama --version # 输出示例 ollama version is 0.1.27

Linux/macOS 安装：

# 一键安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 验证安装 ollama --version

3.2 方式二：Docker 部署（推荐生产环境）

# 拉取 Ollama 镜像 docker pull ollama/ollama:latest # 创建数据目录（持久化模型文件） mkdir -p ~/ollama-data # 启动 Ollama 容器 docker run -d \ --name ollama \ --restart unless-stopped \ -p 11434:11434 \ -v ~/ollama-data:/root/.ollama \ ollama/ollama:latest # 查看运行状态 docker ps | grep ollama # 输出示例 # abc123 ollama/ollama Up 2 minutes 0.0.0.0:11434->11434/tcp ollama

3.3 验证 Ollama 是否正常运行

# 测试 API 是否可用 curl http://localhost:11434/api/tags # 如果返回 JSON 格式的模型列表，说明运行正常 # {"models":[]}

四、下载并运行第一个模型

4.1 选择合适的模型

模型名称参数量文件大小特点
llama3.2:3b3B~2GB轻量级，适合低配机器
llama3.1:8b8B~4.7GB平衡性能与资源
deepseek-r1:7b7B~4GB中文能力强，推理优秀
qwen2.5:7b7B~4.5GB阿里开源，中文友好
mistral:7b7B~4GB欧洲开源模型，性能优秀

4.2 下载模型

# 下载 DeepSeek R1 7B 模型（推荐中文用户） ollama pull deepseek-r1:7b # 下载 LLaMA 3.1 8B 模型 ollama pull llama3.1:8b # 下载 Qwen 2.5 7B 模型 ollama pull qwen2.5:7b # 下载过程示例 # pulling manifest # pulling 6a4b3c2d... 100% |████████████| 4.0 GB / 4.0 GB # pulling 5e8f7d9a... 100% |████████████| 32 KB / 32 KB # verifying sha256 digest # writing manifest # success

4.3 命令行对话测试

# 运行模型进入对话模式 ollama run deepseek-r1:7b # 对话示例 >>> 你好，请用中文介绍一下你自己 我是 DeepSeek，一个由深度求索公司开发的大语言模型...

4.4 API 调用测试

# 使用 curl 调用 API curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }' # 返回示例 # {"model":"deepseek-r1:7b","response":"Python是一种简洁、易读的高级编程语言..."}

五、Open WebUI 部署（可视化界面）

虽然命令行可以对话，但体验不够友好。Open WebUI 提供了类似 ChatGPT 的 Web 界面，支持多轮对话、历史记录、Markdown 渲染等功能。

5.1 Docker 部署 Open WebUI

# 拉取 Open WebUI 镜像 docker pull ghcr.io/open-webui/open-webui:main # 启动容器（连接 Ollama） docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main # 如果 Ollama 也在 Docker 中运行，使用网络连接 docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ --network host \ -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main

5.2 访问 Web 界面

打开浏览器访问：http://localhost:8080

  1. 首次访问需要注册账号（本地存储，无需联网）
  2. 登录后选择模型（如 deepseek-r1:7b）
  3. 开始对话！

六、Docker Compose 一键部署（完整方案）

为了方便管理，我们可以使用 Docker Compose 同时部署 Ollama 和 Open WebUI。

6.1 创建配置文件

# 创建项目目录 mkdir -p ~/ollama-stack && cd ~/ollama-stack # 创建 docker-compose.yml cat > docker-compose.yml << 'EOF' version: '3.8' services: # Ollama 服务 ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "11434:11434" volumes: - ./ollama-data:/root/.ollama environment: - TZ=Asia/Shanghai deploy: resources: reservations: memory: 8G # Open WebUI 服务 open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: unless-stopped ports: - "8080:8080" volumes: - ./open-webui-data:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434 - TZ=Asia/Shanghai depends_on: - ollama volumes: ollama-data: open-webui-data: EOF

6.2 启动服务

# 启动所有服务 docker compose up -d # 查看服务状态 docker compose ps # 输出示例 # NAME STATUS PORTS # ollama running 0.0.0.0:11434->11434/tcp # open-webui running 0.0.0.0:8080->8080/tcp # 查看日志 docker compose logs -f

6.3 下载模型

# 进入 Ollama 容器下载模型 docker exec -it ollama ollama pull deepseek-r1:7b # 查看已下载的模型 docker exec -it ollama ollama list # 输出示例 # NAME ID SIZE MODIFIED # deepseek-r1:7b abc123def456 4.0 GB 2 minutes ago

七、高级配置

7.1 GPU 加速（NVIDIA）

# 检查 NVIDIA Docker 支持 docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi # 修改 docker-compose.yml，添加 GPU 支持 services: ollama: image: ollama/ollama:latest deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]

7.2 配置模型参数

# 创建 Modelfile 自定义模型 cat > Modelfile << 'EOF' FROM deepseek-r1:7b # 设置系统提示词 SYSTEM 你是一个专业的 AI 助手，擅长中文对话。 # 设置参数 PARAMETER temperature 0.7 PARAMETER num_ctx 4096 PARAMETER top_p 0.9 # 设置停止词 PARAMETER stop "<|im_end|>" PARAMETER stop "<|im_start|>" EOF # 创建自定义模型 ollama create my-assistant -f Modelfile # 运行自定义模型 ollama run my-assistant

7.3 API 集成示例（Python）

import requests import json def chat_with_ollama(prompt, model="deepseek-r1:7b"): """调用 Ollama API 进行对话""" url = "http://localhost:11434/api/chat" payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False } response = requests.post(url, json=payload) result = response.json() return result["message"]["content"] # 使用示例 if __name__ == "__main__": answer = chat_with_ollama("请解释什么是机器学习？") print(answer)

八、常见问题排查

Q1: 模型下载太慢怎么办？

# 使用国内镜像加速（如果有的话） # 或者手动下载模型文件后导入 # 查看下载进度 ollama pull deepseek-r1:7b --insecure

Q2: 内存不足怎么办？

# 使用更小的量化模型 ollama pull deepseek-r1:1.5b # 1.5B 参数，仅需 2GB 内存 # 或者在启动时限制内存 docker run -d --memory="4g" --name ollama ollama/ollama

Q3: Open WebUI 无法连接 Ollama？

# 检查 Ollama 是否运行 curl http://localhost:11434/api/tags # 检查容器网络 docker network inspect bridge # 重启服务 docker compose restart

Q4: 如何更新模型？

# 更新到最新版本 ollama pull deepseek-r1:7b # 删除旧模型 ollama rm deepseek-r1:7b

九、总结

通过本指南，你已经学会了：

  • ✅ 使用 Docker 部署 Ollama 大模型引擎
  • ✅ 下载和运行主流开源大模型（DeepSeek、LLaMA、Qwen）
  • ✅ 部署 Open WebUI 获得 ChatGPT 体验
  • ✅ 使用 Docker Compose 一键部署完整方案
  • ✅ Python API 集成调用

相关资源

如果本文对你有帮助，欢迎点赞收藏！有问题欢迎评论区交流 👇

Read more

VRCT完整使用指南：VRChat实时翻译与语音转录终极解决方案

还在为VRChat中的语言障碍而困扰吗？想要与国际友人畅快交流却苦于语言不通？VRCT（VRChat Chatbox Translator & Transcription）正是你需要的跨语言沟通工具！这款创新的实时翻译软件专门为VRChat虚拟社交平台设计，通过先进的语音识别和机器翻译技术，将你的语音对话实时转换为文字并翻译成目标语言，彻底打破语言壁垒。 【免费下载链接】VRCTVRCT(VRChat Chatbox Translator & Transcription) 项目地址: https://gitcode.com/gh_mirrors/vr/VRCT VRCT核心功能深度解析 实时语音转文字翻译系统 VRCT的核心功能就像你的专属翻译助手，能够即时将麦克风输入的语音转换为文字，并翻译成你设定的目标语言。无论你想将日语翻译成英语，还是中文翻译成韩语，VRCT都能轻松应对，让你的VRChat体验从此无国界！ 如图所示，VRCT的主界面设计简洁直观，左侧是功能开关区域，右侧是对话记录显示区。你可以一键开启翻译功能，实时查看发送和接收的消息，自由切换多种语言组合。
YOLO+OpenClaw+SAM微调实战：工业缺陷自动标注的低代码落地

YOLO+OpenClaw+SAM微调实战：工业缺陷自动标注的低代码落地

YOLO+OpenClaw+SAM微调实战：工业缺陷自动标注的低代码落地 不能实时，不代表不能用。微调SAM+云端部署，让工业标注从“人工描边”变“一键验收”。 大家好，我是AI小怪兽。上周有位做PCB质检的读者发来一段视频：标注员正对着一块电路板缺陷图，用鼠标一点点勾勒划痕的边界，一张图花了8分钟。他说：“YOLO能框，但框不准；SAM能分割，但通用模型到我们产线就水土不服。有没有办法让标注员少点鼠标？” 当然有。今天我就结合工业缺陷检测场景，展示一套低代码落地路径：YOLO粗定位 + 微调SAM精分割 + OpenClaw自动调度，让标注员从“动手画”变成“动口验收”。 一、工业自动标注的三道坎 坎1：OpenClaw无法实时推理 OpenClaw从接收指令到调用模型返回结果，5秒以上是常态。产线上的产品不可能等5秒，但标注任务可以——把数千张图丢给AI，让它半夜慢慢跑，员工早上来验收结果，不香吗？ 坎2：边缘端算力要求大，且存在安全风险 OpenClaw调用大模型需要至少8GB显存，
WeBASE一键部署中关于配置，下载的问题

WeBASE一键部署中关于配置，下载的问题

其实网上的相关内容有好多，但大多数是对官方文档的一个复述，于是我从头开始，用一个新的Ubuntu系统部署WeBASE，分享在部署过程中的问题及解决方法，我用的是Ubuntu20.04 有一定能力的可以直接安照官方文档一键部署 — WeBASE v1.5.5 文档进行部署 1，安装依赖 CentOS 7 / RHEL 7： sudo yum -y install epel-release && sudo yum -y install openssl curl wget git nginx dos2unix Ubuntu 16.04+ / Debian 9+： sudo apt update && sudo apt -y install
地理空间大揭秘：身份证首位数字的隐藏含义-使用WebGIS进行传统6大区域展示

地理空间大揭秘：身份证首位数字的隐藏含义-使用WebGIS进行传统6大区域展示

目录 前言 一、关于身份证的空间信息 1、身份证与省份信息 2、首位数字与区域 二、数字与空间展示可视化 1、地域及图例的前端定义 2、省份与区域信息展示 三、成果展示 1、华北地区 2、东北地区 3、华东地区  4、中南地区 5、西南地区 6、西北地区  四、总结 前言         在我们日常生活中，身份证号码是每个人独一无二的身份标识，它承载着丰富的信息，其中第一位数字更是蕴含着与地理空间紧密相关的秘密。这一位数字并非随意排列，而是与我国广袤的国土划分有着深刻的联系。通过 WebGIS（Web 地理信息系统）技术，我们能够以一种直观、生动的方式，将身份证首位数字所代表的地理区域进行可视化展示，从而揭开传统 6 大区域的神秘面纱。       中国地域辽阔，地理环境复杂多样。