Ollama 结合 Open-WebUI 本地运行大模型

优质文章学习记录

— 7 min read
Ollama 结合 Open-WebUI 本地运行大模型

Ollama 结合 Open-WebUI 本地运行大模型
  1. 一、Ollama 简介
  2. 二、Docker安装 Ollama
  3. 三、Open-WebUI
  4. 四、文档链接

本文介绍了如何使用 Ollama 在本地运行大型语言模型，以及利用 Open-WebUI 提供的图形化界面与大语言模型进行交互。

一、Ollama 简介

Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型（LLM）。它的主要特点和功能如下：

  • 简化部署：Ollama 旨在简化在 Docker 容器中部署 LLM 的过程，使得管理和运行这些模型变得更加容易。安装完成后，用户可以通过简单的命令行操作启动和运行大型语言模型。例如，要运行 Gemma 2B 模型，只需执行命令 ollama run gemma:2b。
  • 捆绑模型组件：它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。
  • 支持多种模型：Ollama 支持多种大型语言模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。
  • 跨平台支持：支持 Windows、macOS 和 Linux 平台。安装过程简单，用户只需访问 Ollama 的官方网站下载相应平台的安装包即可。

二、Docker安装 Ollama

选择Deep Learning类型的AMI，这个类型的AMI已经预先安装了英伟达的驱动。

选择g4dn.xlarge类型实例，带有1个NVIDA T4显卡，共有16GB GPU，这是带有英伟达显卡最便宜的实例。这个AMI已经预装了docker包，如果没有安装的Ubuntu系列系统，可以通过下面命令安装。

apt update -y apt install docker -y systemctl start docker

拉取ollama docker镜像（依赖网速，2-3分钟左右）

docker pull ollama/ollama

查看镜像文件，镜像大概2GB左右。

~# docker images REPOSITORY TAG IMAGE ID CREATED SIZE ollama/ollama latest d5cbea22fd07 30 hours ago 1.98GB

根据Docker Hub ollama主页 https://hub.docker.com/r/ollama/ollama [1]，快速启动容器，注意，这里没有添加GPU参数，是通过CPU加载启动的。

~# docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

查看容器状态。

root@ip-172-31-83-158:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES e43072764685 ollama/ollama "/bin/ollama serve" 6 seconds ago Up 5 seconds 0.0.0.0:11434->11434/tcp, :::11434->11434/tcp ollama

在docker容器内运行模型（1分钟左右拉起来）。

root@ip-172-31-83-158:~# docker exec -it ollama bash root@e43072764685:/# ollama run qwen2:0.5b >>> 你叫什么？ 我叫通义千问。

新开一个SSH窗口，在模型回答问题时，查看通过top命令，查看CPU使用率，可以看到CPU已经满负荷运行了，正在使用CPU进行推理。

top - 08:41:19 up 5:14, 4 users, load average: 0.32, 0.25, 0.13 Tasks: 161 total, 3 running, 158 sleeping, 0 stopped, 0 zombie %Cpu(s): 31.9 us, 0.2 sy, 0.0 ni, 67.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.1 st MiB Mem : 15779.1 total, 1575.5 free, 518.2 used, 13685.4 buff/cache MiB Swap: 0.0 total, 0.0 free, 0.0 used. 14806.4 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 7080 root 20 0 1067764 442088 344752 R 123.3 2.7 0:17.46 ollama_llama_se 7006 root 20 0 2365904 400032 389632 S 1.0 2.5 0:13.81 ollama 6986 root 20 0 1238716 13636 9856 S 0.7 0.1 0:00.23 containerd-shim

通过ollama list命令，查看下载的所有模型。

root@e43072764685:/# ollama list NAME ID SIZE MODIFIED qwen2:0.5b 6f48b936a09f 352 MB About a minute ago

在模型回答问题时，通过nvidia-smi命令查看GPU使用情况，通过CPU进行推理时，看到并没有暂用GPU资源。

root@ip-172-31-83-158:~# nvidia-smi Fri Jul 5 08:41:38 2024 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 Tesla T4 On | 00000000:00:1E.0 Off | 0 | | N/A 33C P8 9W / 70W | 2MiB / 15360MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | No running processes found | +---------------------------------------------------------------------------------------+

删除容器。

root@ip-172-31-83-158:~# docker rm -f ollama ollama

重启启动ollama容器，通过GPU启动。

root@ip-172-31-83-158:~# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama b094349fc98c8dee31640485ed88ecef38202e33baadcbb9d503ecc1055ac974

Ollama 环境变量

通过下面命令，ollama可以加载环境变量，可以根据实际需求决定是否添加对应的环境变量。

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always -e OLLAMA_KEEP_ALIVE=-1 ollama/ollama
ollama常用环境变量：OLLAMA_KEEP_ALIVE=-1，模型加载后，默认的Keepalive是5分钟，修改为-1可以让模型持续启动，OLLAMA_KEEP_ALIVE=60 表示 60 秒，OLLAMA_KEEP_ALIVE=10m 表示10分钟。https://github.com/ollama/ollama/pull/3094OLLAMA_ORIGINS=*，跨域访问环境变量，可以用与沉浸式翻译。

Ollama 升级

ollama升级过程参考，停止容器后，重新拉取容器启动即可。

root@ip-172-31-83-158:~# docker exec -it ollama bash root@3d1be8deba41:/# ollama -v ollama version is 0.1.40 (base) root@ip-172-31-79-195:~# docker pull ollama/ollama Using default tag: latest latest: Pulling from ollama/ollama 7646c8da3324: Pull complete d1060ab4fb75: Pull complete e58f7d737fbb: Pull complete Digest: sha256:4a3c5b5261f325580d7f4f6440e5094d807784f0513439dcabfda9c2bdf4191e Status: Downloaded newer image for ollama/ollama:latest docker.io/ollama/ollama:latest (base) root@ip-172-31-79-195:~# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS=* --name ollama --restart always ollama/ollama root@46648320fcd4:/# ollama -v ollama version is 0.3.7

三、Open-WebUI

OpenWebUI是一个可扩展、功能丰富且用户友好的自托管WebUI，它支持完全离线操作，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷 [3]。

从docker hub拉取open-webui镜像（文件1G左右，看网速，2-3分钟）

docker pull dyrnq/open-webui:main

注意，官方文档是从 GitHub Container Registry (GHCR) 上拉取镜像，而不是从 Docker Hub。官方文档拉取命令如下：

docker pull ghcr.io/open-webui/open-webui:main

查看镜像

root@ip-172-31-83-158:~# docker images REPOSITORY TAG IMAGE ID CREATED SIZE dyrnq/open-webui main 8aa8279a3e25 10 hours ago 3.9GB ollama/ollama latest d5cbea22fd07 30 hours ago 1.98GB

启动docker镜像，映射出来3000端口。

root@ip-172-31-83-158:~# docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui:main

查看EC2的公网IP地址。

root@ip-172-31-83-158:~# curl ifconfig.me 54.243.6.37

访问Open WebUI。

创建账号，这个是本地账号，随便添加账号信息即可。

选择ollama中的模型，聊天测试。

可以直接拉取目前ollama没有的模型。

与下载的新模型进行对话。

四、文档链接

Read more

湖南首条免费高速轨迹呈现：借助 Leaflet -Trackplayer 实现 WebGIS 可视化

湖南首条免费高速轨迹呈现：借助 Leaflet -Trackplayer 实现 WebGIS 可视化

目录 前言 一、相关背景 1、湖南首条免费高速-长永高速 2、还有哪些快到30年的高速 3、leaflet-trackplayer相关知识 二、基础数据准备 1、高速起止点地理编码 2、途径重要AOI和POI信息 3、高速区间道路信息 三、leaflet-trackplayer实战 1、行驶道路生成和设置 2、途径重要AOI和POI 3、车辆车牌信息模拟跟随 4、成果展示 四、总结 前言         在交通基础设施建设与数字化技术飞速发展的时代，湖南迎来了其首条免费高速公路的建成通车，这不仅是交通领域的一大突破，更是区域经济发展与民生改善的重要里程碑。然而，如何更好地展示这条高速公路的运行轨迹，为交通管理、规划以及公众出行提供直观，成为了我们亟待解决的问题。将WebGIS 技术与 Leaflet - Trackplayer 的结合，为我们提供了一种创新且高效的解决方案。WebGIS（Web 地理信息系统）
AI生成HTML原型导入Axure全攻略！3步轻松上手，设计效率翻倍！

AI生成HTML原型导入Axure全攻略！3步轻松上手，设计效率翻倍！

咱们在cursor、flowith、DeepSeek中生成高保真原型（HTML文件）后发现有些要调整的部分，如何放在Axrue中进行编辑呢？ 核心要点就是利用figma进行导入。当然你习惯figma做设计也就不用导入了Axure了。 1、figma中加入插件：html to design 1）我们进入figma https://www.figma.com/中，安装插件：html to design。可以在这个插件库里选择哈：https://divriots.com/。 2）安装完成后，选择file,上传html文件，如下HTML原型文件就导入进来啦。我们也可以直接在figma中编辑。 2、安装Axure插件 https://www.figma.com/community/plugin/837098402230990991/axure 单击右键，选择Plugins-Axure-copy selection for rp或者 copy
OpenClaw部署实战：5分钟搭建你的专属AI数字员工（附避坑指南）

OpenClaw部署实战：5分钟搭建你的专属AI数字员工（附避坑指南）

OpenClaw，这个在2026年初引爆AI圈的开源项目，正在重新定义“个人AI助手”的边界。不同于传统的聊天机器人，OpenClaw是一款开源、本地优先的自主AI代理与自动化平台，其终极目标是构建“个人AI操作系统”。本博客将从技术原理出发，手把手教你在5分钟内完成OpenClaw的本地部署，涵盖从系统环境准备到多平台配置的完整流程，深入解析新手引导向导的每个步骤，对比不同操作系统的部署差异，探讨模型选择策略，并重点关注安全沙箱配置和性能优化技巧，同时分享真实使用案例与常见问题解决方案，无论你是学生想打造智能学习助手，还是职场人士需要24小时数字员工，亦或是技术爱好者追求最新的AI工具，本指南都将为你提供最实用的部署方案和避坑建议。 一、OpenClaw技术原理概览 OpenClaw的核心定位并非传统意义上的聊天机器人，而是一款“开源、本地优先的自主AI代理与自动化平台”。它采用了创新的“微核（Microkernel）+ 插件（Skills/Channels）+ 统一网关（Gateway）”架构模式，整个系统以Gateway为控制中心，所有消息平台和客户端都通过WebSocke
告别“选择困难症”：我是如何用 AI Ping 实现大模型自由，还能省下 50% 成本的？

告别“选择困难症”：我是如何用 AI Ping 实现大模型自由，还能省下 50% 成本的？

告别“选择困难症”：我是如何用 AI Ping 实现大模型自由，还能省下 50% 成本的？ * 写在最前面 * 场景一：从“写脚本卡壳”到“批量生成” * 场景二：开发路上的“万能插头” * 使用感受 * 一点小建议与期待 * 写在最后 🌈你好呀！我是 是Yu欸🚀 感谢你的陪伴与支持~ 欢迎添加文末好友🌌 在所有感兴趣的领域扩展知识，不定期掉落福利资讯(*^▽^*) 写在最前面 版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。 在这个大模型“百花齐放”甚至“百模大战”的时代，作为一名既要写代码开发，又要频繁输出技术内容（写博文、做视频）的开发者，我每天最大的烦恼就是： “今天这个任务，