在 Windows 系统上通过 Docker、CUDA、Ollama 和 Open-WebUI 本地部署开源大语言模型。首先安装 Docker 桌面环境，其次配置 NVIDIA CUDA 驱动以支持 GPU 加速，接着使用 Ollama 命令行工具下载并运行模型，最后通过 Open-WebUI 提供图形化界面进行交互。整个过程无需云端 API，实现离线私有化部署，适合需要数据隐私或低成本推理的场景。
本文介绍如何在 Windows 机器上完全免费使用开源推理模型。
很多人已经安装了它，可以跳过。如果没有，访问 Docker 官方网站，下载并运行安装程序。
如果您需要特定的设置（例如使用 WSL），请查阅相关指导视频。我将继续下一步。
如果您想使用 Nvidia 显卡运行 LLM，则必须安装 CUDA 驱动程序。
打开 CUDA 下载页面，根据需要点击'Windows'和其他选项，然后选择'本地'作为安装程序类型：
下载并完成安装即可，此处需要重新启动。
前往 Ollama 网站并点击下载按钮。
Ollama是一款开源 AI 工具，使用户能够在其设备上本地运行大型语言模型，为自然语言处理任务提供定制化、高效和离线功能。
安装后，打开'Windows PowerShell'。
并通过运行以下命令来验证您的安装：
ollama -v
再次打开 Ollama 官网 并选择您的型号：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
有几种选择，建议从 7B 开始，并检查它如何与您的机器配合使用。例如，我运行 i7-11 系列处理器和 NVIDIA GeForce RTX 2080 SUPER 以及 8GB GPU，我可以在正常速度下使用 14B 型号。
正如所说，它需要大量的计算能力。
选择后，点击复制按钮：
并在 PowerShell 中运行：
它将像上面一样下载并打开 shell，您可以在这里直接与它聊天。但是让我们对它说 /bye，并继续设置一个实际的 UI，而不是从 PowerShell 提示。
打开 Open WebUI GitHub 页面，找到'Open WebUI with Nvidia GPU support'。
复制该命令并再次在 PowerShell 中运行它。它将下载所有需要的 docker 镜像并运行容器，您可以通过 http://localhost:3000/ 访问该容器。
对于任何 LLM 用户来说，这都是一个熟悉的用户界面，左侧边栏用于聊天，左上角可用于选择已安装的模型等。
Open-WebUI 具有大量功能，例如 RAG、图像生成、网页浏览等。您可以 在此处查看完整列表。