在 Windows 上本地运行 DeepSeek

步骤 1:安装 Docker 桌面
如果您尚未安装,请访问 Docker 官方网站下载并运行安装程序。
如需特定设置(如使用 WSL),请参考相关文档。确认安装完成后继续下一步。
步骤 2:安装 CUDA 以获得 GPU 支持
若需使用 NVIDIA 显卡运行大语言模型,必须安装 CUDA 驱动程序。
访问 CUDA 下载页面,选择"Windows"及相应选项,将安装程序类型设为'本地':

下载并完成安装后重启计算机。
步骤 3:安装 Ollama 并下载模型
前往 Ollama 官网下载并安装工具。Ollama 是一款开源 AI 工具,允许用户在本地设备上运行大型语言模型。
安装后打开 Windows PowerShell,运行以下命令验证安装:
ollama -v

访问 Ollama 网站选择模型(建议从 7B 版本开始测试):

复制命令并在 PowerShell 中运行:
ollama run <model_name>

模型将自动下载并启动 Shell,可直接对话。输入 /bye 退出,继续配置图形界面。
步骤 4:安装 Open-WebUI
打开 Open-WebUI GitHub 页面,找到'Open WebUI with Nvidia GPU support'部分。
复制命令并在 PowerShell 中运行,这将下载所需的 Docker 镜像并启动容器。
通过 http://localhost:3000/ 访问该容器。

界面左侧为聊天栏,左上角可选择已安装的模型。Open-WebUI 支持 RAG、图像生成、网页浏览等功能。
参考文档:Open-WebUI GitHub


