从零部署本地大语言模型：Ollama + Open WebUI 完整实战指南（附详细步骤和代码）

优质文章学习记录

— 7 min read

前言

在 AI 大模型爆发的今天，你是否也想在自己的电脑上运行一个专属的大语言模型？本指南将手把手教你从零开始部署一套完整的本地 AI 对话系统，让你无需联网、无需付费 API，就能享受 AI 带来的便利。

技术栈：Ollama（模型运行）+ Open WebUI（Web 界面）+ DeepSeek/LLaMA（大模型）

适用场景：

  • 个人开发者本地调试 AI 应用
  • 企业内网私有化部署，数据不出网
  • 学习研究大模型原理
  • 搭建专属 AI 助手

一、架构介绍

在开始部署之前，我们先了解一下整体架构：

组件作用端口
Ollama大模型运行引擎，负责模型加载和推理11434
Open WebUI类 ChatGPT 的 Web 界面，提供对话功能8080
模型文件DeepSeek、LLaMA 等大语言模型-

二、环境准备

2.1 硬件要求

模型大小最低内存推荐内存GPU（可选）
7B 参数8GB16GB6GB 显存
14B 参数16GB32GB12GB 显存
70B 参数64GB128GB48GB 显存

2.2 软件要求

# 检查 Docker 是否安装 docker --version # 如果未安装，请先安装 Docker # Windows/Mac: 下载 Docker Desktop # Ubuntu: sudo apt install docker.io docker-compose

三、Ollama 部署（核心组件）

3.1 方式一：直接安装（推荐新手）

Windows 安装：

  1. 访问官网下载安装包：https://ollama.com/download
  2. 双击安装，一路下一步
  3. 打开命令行验证安装
# 验证安装 ollama --version # 输出示例 ollama version is 0.1.27

Linux/macOS 安装：

# 一键安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 验证安装 ollama --version

3.2 方式二：Docker 部署（推荐生产环境）

# 拉取 Ollama 镜像 docker pull ollama/ollama:latest # 创建数据目录（持久化模型文件） mkdir -p ~/ollama-data # 启动 Ollama 容器 docker run -d \ --name ollama \ --restart unless-stopped \ -p 11434:11434 \ -v ~/ollama-data:/root/.ollama \ ollama/ollama:latest # 查看运行状态 docker ps | grep ollama # 输出示例 # abc123 ollama/ollama Up 2 minutes 0.0.0.0:11434->11434/tcp ollama

3.3 验证 Ollama 是否正常运行

# 测试 API 是否可用 curl http://localhost:11434/api/tags # 如果返回 JSON 格式的模型列表，说明运行正常 # {"models":[]}

四、下载并运行第一个模型

4.1 选择合适的模型

模型名称参数量文件大小特点
llama3.2:3b3B~2GB轻量级，适合低配机器
llama3.1:8b8B~4.7GB平衡性能与资源
deepseek-r1:7b7B~4GB中文能力强，推理优秀
qwen2.5:7b7B~4.5GB阿里开源，中文友好
mistral:7b7B~4GB欧洲开源模型，性能优秀

4.2 下载模型

# 下载 DeepSeek R1 7B 模型（推荐中文用户） ollama pull deepseek-r1:7b # 下载 LLaMA 3.1 8B 模型 ollama pull llama3.1:8b # 下载 Qwen 2.5 7B 模型 ollama pull qwen2.5:7b # 下载过程示例 # pulling manifest # pulling 6a4b3c2d... 100% |████████████| 4.0 GB / 4.0 GB # pulling 5e8f7d9a... 100% |████████████| 32 KB / 32 KB # verifying sha256 digest # writing manifest # success

4.3 命令行对话测试

# 运行模型进入对话模式 ollama run deepseek-r1:7b # 对话示例 >>> 你好，请用中文介绍一下你自己 我是 DeepSeek，一个由深度求索公司开发的大语言模型...

4.4 API 调用测试

# 使用 curl 调用 API curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }' # 返回示例 # {"model":"deepseek-r1:7b","response":"Python是一种简洁、易读的高级编程语言..."}

五、Open WebUI 部署（可视化界面）

虽然命令行可以对话，但体验不够友好。Open WebUI 提供了类似 ChatGPT 的 Web 界面，支持多轮对话、历史记录、Markdown 渲染等功能。

5.1 Docker 部署 Open WebUI

# 拉取 Open WebUI 镜像 docker pull ghcr.io/open-webui/open-webui:main # 启动容器（连接 Ollama） docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main # 如果 Ollama 也在 Docker 中运行，使用网络连接 docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ --network host \ -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main

5.2 访问 Web 界面

打开浏览器访问：http://localhost:8080

  1. 首次访问需要注册账号（本地存储，无需联网）
  2. 登录后选择模型（如 deepseek-r1:7b）
  3. 开始对话！

六、Docker Compose 一键部署（完整方案）

为了方便管理，我们可以使用 Docker Compose 同时部署 Ollama 和 Open WebUI。

6.1 创建配置文件

# 创建项目目录 mkdir -p ~/ollama-stack && cd ~/ollama-stack # 创建 docker-compose.yml cat > docker-compose.yml << 'EOF' version: '3.8' services: # Ollama 服务 ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "11434:11434" volumes: - ./ollama-data:/root/.ollama environment: - TZ=Asia/Shanghai deploy: resources: reservations: memory: 8G # Open WebUI 服务 open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: unless-stopped ports: - "8080:8080" volumes: - ./open-webui-data:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434 - TZ=Asia/Shanghai depends_on: - ollama volumes: ollama-data: open-webui-data: EOF

6.2 启动服务

# 启动所有服务 docker compose up -d # 查看服务状态 docker compose ps # 输出示例 # NAME STATUS PORTS # ollama running 0.0.0.0:11434->11434/tcp # open-webui running 0.0.0.0:8080->8080/tcp # 查看日志 docker compose logs -f

6.3 下载模型

# 进入 Ollama 容器下载模型 docker exec -it ollama ollama pull deepseek-r1:7b # 查看已下载的模型 docker exec -it ollama ollama list # 输出示例 # NAME ID SIZE MODIFIED # deepseek-r1:7b abc123def456 4.0 GB 2 minutes ago

七、高级配置

7.1 GPU 加速（NVIDIA）

# 检查 NVIDIA Docker 支持 docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi # 修改 docker-compose.yml，添加 GPU 支持 services: ollama: image: ollama/ollama:latest deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]

7.2 配置模型参数

# 创建 Modelfile 自定义模型 cat > Modelfile << 'EOF' FROM deepseek-r1:7b # 设置系统提示词 SYSTEM 你是一个专业的 AI 助手，擅长中文对话。 # 设置参数 PARAMETER temperature 0.7 PARAMETER num_ctx 4096 PARAMETER top_p 0.9 # 设置停止词 PARAMETER stop "<|im_end|>" PARAMETER stop "<|im_start|>" EOF # 创建自定义模型 ollama create my-assistant -f Modelfile # 运行自定义模型 ollama run my-assistant

7.3 API 集成示例（Python）

import requests import json def chat_with_ollama(prompt, model="deepseek-r1:7b"): """调用 Ollama API 进行对话""" url = "http://localhost:11434/api/chat" payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False } response = requests.post(url, json=payload) result = response.json() return result["message"]["content"] # 使用示例 if __name__ == "__main__": answer = chat_with_ollama("请解释什么是机器学习？") print(answer)

八、常见问题排查

Q1: 模型下载太慢怎么办？

# 使用国内镜像加速（如果有的话） # 或者手动下载模型文件后导入 # 查看下载进度 ollama pull deepseek-r1:7b --insecure

Q2: 内存不足怎么办？

# 使用更小的量化模型 ollama pull deepseek-r1:1.5b # 1.5B 参数，仅需 2GB 内存 # 或者在启动时限制内存 docker run -d --memory="4g" --name ollama ollama/ollama

Q3: Open WebUI 无法连接 Ollama？

# 检查 Ollama 是否运行 curl http://localhost:11434/api/tags # 检查容器网络 docker network inspect bridge # 重启服务 docker compose restart

Q4: 如何更新模型？

# 更新到最新版本 ollama pull deepseek-r1:7b # 删除旧模型 ollama rm deepseek-r1:7b

九、总结

通过本指南，你已经学会了：

  • ✅ 使用 Docker 部署 Ollama 大模型引擎
  • ✅ 下载和运行主流开源大模型（DeepSeek、LLaMA、Qwen）
  • ✅ 部署 Open WebUI 获得 ChatGPT 体验
  • ✅ 使用 Docker Compose 一键部署完整方案
  • ✅ Python API 集成调用

相关资源

如果本文对你有帮助，欢迎点赞收藏！有问题欢迎评论区交流 👇

Read more

RTK免像控验证：大疆RTK无人机免像控飞行与有像控成果精度对比

RTK免像控验证：大疆RTK无人机免像控飞行与有像控成果精度对比 引言 传统无人机摄影测量依赖于地面控制点（Ground Control Points, GCPs）进行几何纠正和精度控制，存在外业布点成本高、周期长等痛点。随着RTK（Real-Time Kinematic）技术集成至无人机平台，特别是大疆RTK无人机（如Phantom 4 RTK、Matrice 300 RTK搭载P1/Zenmuse L1）的出现，实现了通过高精度POS（Position and Orientation System）直接获取影像外方位元素，从而理论上实现“免像控”作业。本文旨在通过理论分析、代码模拟及实测数据对比，验证RTK无人机免像控技术的可行性、精度极限及其与有像控成果的差异。 技术背景 RTK免像控技术的核心在于POS辅助光束法区域网平差（POS-assisted Bundle Adjustment）。传统空中三角测量（空三）严重依赖地面控制点进行绝对定向，而RTK无人机通过以下技术链条实现免像控： 1. GNSS-RTK定位：无人机搭载RTK模块，

Flutter 三方库 angular_bloc 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致响应、工业级的 AngularDart 与 BLoC 协同架构实战

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 angular_bloc 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致响应、工业级的 AngularDart 与 BLoC 协同架构实战 在鸿蒙（OpenHarmony）系统的桌面级协同（如分布式办公网页版）、后台管理终端或高度复杂的 Web 仪表盘开发中，如何将经典的 BLoC 状态管理应用于 AngularDart 环境？angular_bloc 为开发者提供了一套天衣无缝的组件化连接器。本文将实战演示其在鸿蒙 Web 生态中的深度应用。 前言 什么是 Angular BLoC？它是一套专门为 AngularDart 框架设计的 BLoC 实现。通过指令（Directives）和管道（Pipes），它实现了由于数据流变化触发的 UI

Gazebo 机器人三维物理仿真平台

Gazebo 简介 Gazebo 是一款由 Open Robotics（前身为 Willow Garage 和 OSRF）开发的开源 3D 机器人仿真软件。它是目前世界上最流行的机器人仿真平台之一，被广泛应用于学术研究、工业开发和机器人竞赛中。 核心特性 1. 物理仿真引擎 * ODE（Open Dynamics Engine）：默认物理引擎，支持刚体动力学 * Bullet：支持软体动力学和复杂碰撞检测 * Simbody：生物力学级精确仿真 * DART：基于广义坐标的高效动力学仿真 2. 3D 图形渲染 * OGRE（Object-Oriented Graphics Rendering Engine）：提供高质量的 3D 可视化 * 支持逼真的光照、阴影、材质和纹理 * 可配置多摄像头视角和传感器可视化 3. 传感器仿真 支持多种机器人传感器的仿真：

FPGA面试题汇总整理（一）

https://pan.baidu.com/s/1rDsLAXGj8WbX82teSkhuIw?pwd=1234 这份FPGA 系统学习详细资料包是个人花大量时间精心整理的，超多干货全覆盖，从基础到实战一站式搞定，不用再到处薅资料！网盘链接随时可能失效，提取码 1234，先保存再学习，别等失效拍大腿！🔗链接：https://pan.baidu.com/s/1rDsLAXGj8WbX82teSkhuIw?pwd=1234 ———————————————— 前言：社招FPGA面试核心考察「基础功底+项目经验+问题解决能力」，以下100个问题覆盖面试90%高频考点，按「基础概念→编程语法→时序分析→架构设计→调试优化→项目实操→行业拓展」分类，每个问题附详细解答（适配自媒体干货属性，可直接复制使用，重点内容加粗标注），帮你高效备战，避免踩坑。 一、