本地部署模型
安装 Ollama
官网:Ollama
下载并安装完成后,打开终端进行测试(以 QWen 为例):
ollama run qwen
默认模型保存在 C:\Users<username>.ollama\models。如需更改路径,可通过设置环境变量 OLLAMA_MODELS 修改,例如:
setx OLLAMA_MODELS "D:"
修改后需重启终端和 Ollama 服务。
下载完成后,可使用以下命令查看已安装的模型:
ollama list
删除指定模型:
ollama rm <模型名称>
目前仅支持在终端交互,为了增加体验,我们将搭建 Web 页面进行交互。
安装 Open WebUI
前置环境准备
启动 Hyper-V
如果系统未开启 Hyper-V,可创建名为 Hyper.cmd 的脚本文件并以管理员身份运行:
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
运行完毕后重启电脑。
安装 WSL (适用于 Linux 的 Windows 子系统)
更新 WSL:
wsl --update
安装 WSL:
wsl --install
安装 Docker
前往 Docker Desktop for Windows 下载并安装。安装过程中无需注册账号,直接登录即可。左下角显示绿色图标表示运行成功。
验证安装:
docker --version
Docker 部署 Open WebUI
使用 Docker 拉取并运行 Open WebUI 容器:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装完成后,访问 http://localhost:3000。
点击登录界面,点击上方加号 + 选择模型。若提示找不到已安装的模型,请确保 Ollama 服务已启动。启动 Ollama 后刷新网页,再次选择模型即可开始提问。




