本地部署 Llama3 大模型及 Open WebUI 界面
本文介绍如何在本地电脑部署开源大模型 Llama3，并配置 Open WebUI 图形界面，实现离线交互且无需支付 Token 费用。
1. 安装 Ollama
Ollama 是一个用于运行大型语言模型的开源工具。访问官方网站 https://ollama.com/download，根据您的操作系统选择下载选项（以 Windows 为例）。
下载 exe 安装程序并完成安装。建议修改大语言模型存放位置，避免占用过多 C 盘空间。
设置环境变量
找到'系统属性'中的'环境变量'，添加'系统变量'：
- 变量名：
OLLAMA_MODELS - 变量值：您指定的存放模型的位置（例如
D:\Models）
2. 运行开源大模型 Llama3
进入 Ollama 的 Models 页面，选择希望部署的模型（如 llama3），选择规模（如 llama3:8b），复制运行语句：
ollama run llama3
打开 Windows 终端，粘贴该语句并回车运行，等待下载和安装成功。成功后即可在终端中与 Llama3 模型进行交互。
常用命令
- 输入
/?查看可用命令。 - 输入
/bye退出模型互动，返回 Windows 终端。 - 输入
ollama -h查看 Ollama 可用命令列表。
资源占用说明
部署完成后，可通过任务管理器查看内存使用情况。Llama3:8b 运行后约占用 4.7GB 内存；若部署 Llama3:70b（700 亿参数），则需至少 64GB 内存或显存超过 40GB 的显卡。70b 模型回答更智能但速度较慢，8b 模型速度快但相对不够'聪明'，请根据硬件条件取舍。
3. 部署 WebUI (Open WebUI)
为了更方便地与模型交流，可安装 Open WebUI 提供图形化界面。它支持文件、图片上传以及语音输入等功能。
前置要求
需要安装 Docker Desktop。Docker 是一种容器化技术，将应用程序源代码与依赖项合并，比传统虚拟机更轻量快捷。
安装过程中若提示安装 WSL2，请同意并自动安装。若启动后显示 engine stopped，需在终端手动执行：
wsl --install
启动 Open WebUI
在终端执行以下命令（根据环境条件选择含 GPU 或不含 GPU 的命令）：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ollama/ollama
注意：具体命令请参考 Open WebUI 官方文档 https://docs.openwebui.com/ 及 Docker 官网 https://www.docker.com/products/docker-desktop/
等待下载完成（时间可能较长）。安装完成后，通过浏览器访问
