从零部署本地大语言模型：Ollama + Open WebUI 完整实战指南（附详细步骤和代码）

优质文章学习记录

— 7 min read

前言

在 AI 大模型爆发的今天，你是否也想在自己的电脑上运行一个专属的大语言模型？本指南将手把手教你从零开始部署一套完整的本地 AI 对话系统，让你无需联网、无需付费 API，就能享受 AI 带来的便利。

技术栈：Ollama（模型运行）+ Open WebUI（Web 界面）+ DeepSeek/LLaMA（大模型）

适用场景：

  • 个人开发者本地调试 AI 应用
  • 企业内网私有化部署，数据不出网
  • 学习研究大模型原理
  • 搭建专属 AI 助手

一、架构介绍

在开始部署之前，我们先了解一下整体架构：

组件作用端口
Ollama大模型运行引擎，负责模型加载和推理11434
Open WebUI类 ChatGPT 的 Web 界面，提供对话功能8080
模型文件DeepSeek、LLaMA 等大语言模型-

二、环境准备

2.1 硬件要求

模型大小最低内存推荐内存GPU（可选）
7B 参数8GB16GB6GB 显存
14B 参数16GB32GB12GB 显存
70B 参数64GB128GB48GB 显存

2.2 软件要求

# 检查 Docker 是否安装 docker --version # 如果未安装，请先安装 Docker # Windows/Mac: 下载 Docker Desktop # Ubuntu: sudo apt install docker.io docker-compose

三、Ollama 部署（核心组件）

3.1 方式一：直接安装（推荐新手）

Windows 安装：

  1. 访问官网下载安装包：https://ollama.com/download
  2. 双击安装，一路下一步
  3. 打开命令行验证安装
# 验证安装 ollama --version # 输出示例 ollama version is 0.1.27

Linux/macOS 安装：

# 一键安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 验证安装 ollama --version

3.2 方式二：Docker 部署（推荐生产环境）

# 拉取 Ollama 镜像 docker pull ollama/ollama:latest # 创建数据目录（持久化模型文件） mkdir -p ~/ollama-data # 启动 Ollama 容器 docker run -d \ --name ollama \ --restart unless-stopped \ -p 11434:11434 \ -v ~/ollama-data:/root/.ollama \ ollama/ollama:latest # 查看运行状态 docker ps | grep ollama # 输出示例 # abc123 ollama/ollama Up 2 minutes 0.0.0.0:11434->11434/tcp ollama

3.3 验证 Ollama 是否正常运行

# 测试 API 是否可用 curl http://localhost:11434/api/tags # 如果返回 JSON 格式的模型列表，说明运行正常 # {"models":[]}

四、下载并运行第一个模型

4.1 选择合适的模型

模型名称参数量文件大小特点
llama3.2:3b3B~2GB轻量级，适合低配机器
llama3.1:8b8B~4.7GB平衡性能与资源
deepseek-r1:7b7B~4GB中文能力强，推理优秀
qwen2.5:7b7B~4.5GB阿里开源，中文友好
mistral:7b7B~4GB欧洲开源模型，性能优秀

4.2 下载模型

# 下载 DeepSeek R1 7B 模型（推荐中文用户） ollama pull deepseek-r1:7b # 下载 LLaMA 3.1 8B 模型 ollama pull llama3.1:8b # 下载 Qwen 2.5 7B 模型 ollama pull qwen2.5:7b # 下载过程示例 # pulling manifest # pulling 6a4b3c2d... 100% |████████████| 4.0 GB / 4.0 GB # pulling 5e8f7d9a... 100% |████████████| 32 KB / 32 KB # verifying sha256 digest # writing manifest # success

4.3 命令行对话测试

# 运行模型进入对话模式 ollama run deepseek-r1:7b # 对话示例 >>> 你好，请用中文介绍一下你自己 我是 DeepSeek，一个由深度求索公司开发的大语言模型...

4.4 API 调用测试

# 使用 curl 调用 API curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }' # 返回示例 # {"model":"deepseek-r1:7b","response":"Python是一种简洁、易读的高级编程语言..."}

五、Open WebUI 部署（可视化界面）

虽然命令行可以对话，但体验不够友好。Open WebUI 提供了类似 ChatGPT 的 Web 界面，支持多轮对话、历史记录、Markdown 渲染等功能。

5.1 Docker 部署 Open WebUI

# 拉取 Open WebUI 镜像 docker pull ghcr.io/open-webui/open-webui:main # 启动容器（连接 Ollama） docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main # 如果 Ollama 也在 Docker 中运行，使用网络连接 docker run -d \ --name open-webui \ --restart unless-stopped \ -p 8080:8080 \ --network host \ -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ -v ~/open-webui-data:/app/backend/data \ ghcr.io/open-webui/open-webui:main

5.2 访问 Web 界面

打开浏览器访问：http://localhost:8080

  1. 首次访问需要注册账号（本地存储，无需联网）
  2. 登录后选择模型（如 deepseek-r1:7b）
  3. 开始对话！

六、Docker Compose 一键部署（完整方案）

为了方便管理，我们可以使用 Docker Compose 同时部署 Ollama 和 Open WebUI。

6.1 创建配置文件

# 创建项目目录 mkdir -p ~/ollama-stack && cd ~/ollama-stack # 创建 docker-compose.yml cat > docker-compose.yml << 'EOF' version: '3.8' services: # Ollama 服务 ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "11434:11434" volumes: - ./ollama-data:/root/.ollama environment: - TZ=Asia/Shanghai deploy: resources: reservations: memory: 8G # Open WebUI 服务 open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: unless-stopped ports: - "8080:8080" volumes: - ./open-webui-data:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434 - TZ=Asia/Shanghai depends_on: - ollama volumes: ollama-data: open-webui-data: EOF

6.2 启动服务

# 启动所有服务 docker compose up -d # 查看服务状态 docker compose ps # 输出示例 # NAME STATUS PORTS # ollama running 0.0.0.0:11434->11434/tcp # open-webui running 0.0.0.0:8080->8080/tcp # 查看日志 docker compose logs -f

6.3 下载模型

# 进入 Ollama 容器下载模型 docker exec -it ollama ollama pull deepseek-r1:7b # 查看已下载的模型 docker exec -it ollama ollama list # 输出示例 # NAME ID SIZE MODIFIED # deepseek-r1:7b abc123def456 4.0 GB 2 minutes ago

七、高级配置

7.1 GPU 加速（NVIDIA）

# 检查 NVIDIA Docker 支持 docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi # 修改 docker-compose.yml，添加 GPU 支持 services: ollama: image: ollama/ollama:latest deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]

7.2 配置模型参数

# 创建 Modelfile 自定义模型 cat > Modelfile << 'EOF' FROM deepseek-r1:7b # 设置系统提示词 SYSTEM 你是一个专业的 AI 助手，擅长中文对话。 # 设置参数 PARAMETER temperature 0.7 PARAMETER num_ctx 4096 PARAMETER top_p 0.9 # 设置停止词 PARAMETER stop "<|im_end|>" PARAMETER stop "<|im_start|>" EOF # 创建自定义模型 ollama create my-assistant -f Modelfile # 运行自定义模型 ollama run my-assistant

7.3 API 集成示例（Python）

import requests import json def chat_with_ollama(prompt, model="deepseek-r1:7b"): """调用 Ollama API 进行对话""" url = "http://localhost:11434/api/chat" payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False } response = requests.post(url, json=payload) result = response.json() return result["message"]["content"] # 使用示例 if __name__ == "__main__": answer = chat_with_ollama("请解释什么是机器学习？") print(answer)

八、常见问题排查

Q1: 模型下载太慢怎么办？

# 使用国内镜像加速（如果有的话） # 或者手动下载模型文件后导入 # 查看下载进度 ollama pull deepseek-r1:7b --insecure

Q2: 内存不足怎么办？

# 使用更小的量化模型 ollama pull deepseek-r1:1.5b # 1.5B 参数，仅需 2GB 内存 # 或者在启动时限制内存 docker run -d --memory="4g" --name ollama ollama/ollama

Q3: Open WebUI 无法连接 Ollama？

# 检查 Ollama 是否运行 curl http://localhost:11434/api/tags # 检查容器网络 docker network inspect bridge # 重启服务 docker compose restart

Q4: 如何更新模型？

# 更新到最新版本 ollama pull deepseek-r1:7b # 删除旧模型 ollama rm deepseek-r1:7b

九、总结

通过本指南，你已经学会了：

  • ✅ 使用 Docker 部署 Ollama 大模型引擎
  • ✅ 下载和运行主流开源大模型（DeepSeek、LLaMA、Qwen）
  • ✅ 部署 Open WebUI 获得 ChatGPT 体验
  • ✅ 使用 Docker Compose 一键部署完整方案
  • ✅ Python API 集成调用

相关资源

如果本文对你有帮助，欢迎点赞收藏！有问题欢迎评论区交流 👇

Read more

大模型+智能家居解决方案--小米MiLoco部署

大模型+智能家居解决方案--小米MiLoco部署

一、Miloco简介 小米推出了首个“大模型+智能家居”解决方案Xiaomi Miloco，全称为 Xiaomi Local Copilot（小米本地协同智能助手）。 https://gitee.com/xiaomi-miloco/xiaomi-miloco 1、GitHub地址 https://github.com/XiaoMi/xiaomi-miloco Miloco以米家摄像头为视觉信息源，以自研大语言模型MiMo-VL-Miloco-7B为核心，连接家中所有物联网（IoT）设备，框架面向所有人开源。MiMo-VL-Miloco-7B模型基于小米4月发布的MiMo模型调优而来，“天才少女”罗福莉最近加入的正是MiMo模型团队。 这很可能是智能家居的“ChatGPT时刻”，小米AIoT平台截至今年6月已连接的IoT设备数（不含智能手机、平板及笔记本计算机）达9.89亿台，数以亿计的米家摄像头、小爱音箱、台灯等设备都有望用上大模型。 从小米公布的Miloco页面来看，页面主视觉是一个类似于ChatGPT的聊天框，聊天框的左侧具有智能家居设备的导航栏，包括AI中心、模型管
树莓派4B连接大疆M300无人机全网最细教程

树莓派4B连接大疆M300无人机全网最细教程

注：本教程适用于树莓派4B连接大疆M300_RTK无人机，若是其余型号可以参考本文思路，但是具体细节请前往官方教程或大疆开发者论坛查找，第三方开发板连接大疆无人机，不同型号之间会有很多细节差异，请确认自己的型号然后针对性查找 官方教程网址：Payload SDK (官方的是树莓派4B连接M350！并非M300，实现细节完全不同，请慎重查看) 大疆开发者论坛网址：Payload SDK – 大疆创新SDK技术支持论坛 (优点：几乎能找到所有问题的解决方法；缺点：太零散了，找解决方法如同大海捞针) 1 硬件准备 1.1 硬件选型 * 无人机型号：M300_RTKM300顶部一共有三个接口，其中OSDK端口和云台口（Payload SDK Port）可以用来运行PSDK程序，TypeC调参口，则是用来与电脑连接，打开DJI Assistant2软件后，可以升级无人机固件，导出日志，使用模拟器，绑定负载等。 1.FPV摄像头13.左视和右视红外感知系统25.调参接口2.前视红外感知系统14.

吃透 AM32 无人机电调：从源码架构到工作原理的全方位解析（附实践指南）（上）

开篇：为什么要深度剖析 AM32 电调？ 作为多旋翼无人机的 “动力心脏”，电调（电子调速器）的性能直接决定了无人机的飞行稳定性、响应速度和续航能力。而 AM32 系列电调凭借开源性、高性价比、适配性强三大优势，成为了开源无人机社区的热门选择 —— 从入门级的 2204 电机到专业级的 2306 电机，从 3S 锂电池到 6S 高压电池，AM32 都能稳定驱动。 但很多开发者和爱好者在接触 AM32 源码时，常会陷入 “看得懂代码，看不懂逻辑” 的困境：为什么 FOC 算法要做坐标变换？DShot 协议的脉冲怎么解析？保护机制是如何实时触发的？ 这篇博客将从硬件基础→源码架构→模块解析→工作原理→实践操作五个维度，逐行拆解 AM32 电调固件源码，帮你彻底搞懂