【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【MySQLJavawebRustpython

🎈热门专栏:🎊【SpringbootRedisSpringsecurityDockerAI】 

感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️

目录

🎈本地部署模型

🎉安装Ollama

🎉安装 Open WebUI

🎊安装Docker

🥞启动 Hyper-v

🥞 安装 WSL(适用于Linux的Windows的子系统):

🥞安装Docker

 🎊Docker 部署 Open WebUI


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

ollama run qwen 

 现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置

setx OLLAMA_MODELS "D:" 

下载完成后,可以进行测试:

查看都安装了什么模型

ollma list命令显示所有安装模型 ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i" del hyper-v.txt Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
wsl --update 

然后进行安装

wsl --install 

 

🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

 🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

Read more

从零敲开 MySQL 的大门:库与表的基础操作实战(保姆级入门指南)

从零敲开 MySQL 的大门:库与表的基础操作实战(保姆级入门指南)

🔥海棠蚀omo:个人主页                 ❄️个人专栏:《初识数据结构》,《C++:从入门到实践》,《Linux:从零基础到实践》,《Linux网络:从不懂到不会》,《MySQL:新手入门指南》                 ✨追光的人,终会光芒万丈 博主简介: 目录 一.库的操作 1.1创建数据库 1.1.1编码集和校验集 1.1.2校验规则对数据库的影响 1.2操纵数据库 1.2.1查看数据库 1.2.2修改数据库 1.2.3删除数据库 1.3数据库的备份与恢复 二.表的操作 2.1创建表 2.2查看表结构 2.3修改表 2.3.1ADD操作

By Ne0inhk
Spring Boot Pf4j模块化能力设计思考

Spring Boot Pf4j模块化能力设计思考

在云原生时代,随着业务复杂度的指数级增长,传统的单体应用和微服务架构正面临新的挑战。我们不仅需要服务级别的独立部署,更需要在单个应用内部实现功能的动态插拔、独立开发与热更新。这正是模块化与插件化架构的核心价值所在 。 本文将深入探讨如何在 Spring Boot 中引入 PF4J(Plugin Framework for Java)来构建灵活、可扩展的插件化系统。我们将从设计思考出发,分析 PF4J 的核心能力,并通过一个完整的实战案例,带你领略插件化开发的魅力。 一、为什么需要插件化?设计思考与选型 1.1 传统架构的痛点 在传统的 Spring Boot 单体应用中,所有功能模块被打成一个 JAR 包部署。这种模式在业务快速迭代时会暴露诸多问题: * 代码臃肿,耦合度高:核心系统与扩展功能交织在一起,修改一个边缘功能也可能导致全应用回归测试。 * 扩展困难:每增加一个新功能,都必须修改核心代码,重新打包部署。 * 启动与发布成本高:即使是微小的改动,也需要重启整个应用,无法满足高可用场景下的动态生效需求

By Ne0inhk
Node.js 所有主要版本的发布时间、稳定版本(Stable)和长期支持版本(LTS) 的整理

Node.js 所有主要版本的发布时间、稳定版本(Stable)和长期支持版本(LTS) 的整理

以下是 Node.js 所有主要版本的发布时间、稳定版本(Stable)和长期支持版本(LTS) 的整理,涵盖从早期版本到当前最新版本的信息。 📅 Node.js 版本发布规律 * 每 6 个月发布一个新主版本(偶数月) * 偶数版本号(如 v14, v16, v18, v20)进入 LTS(长期支持) * 奇数版本号(如 v15, v17, v19)为 Current(开发版本),仅在发布后 6 个月内受支持 * LTS 版本通常支持 30 个月:6 个月“Active LTS”,24 个月“Maintenance LTS” 🔢 主要版本及其生命周期信息

By Ne0inhk

openclaw多节点访问 Gateway 的方法

openclaw多节点访问 Gateway 的方法 1. Gateway 端配置 网络绑定:若节点通过局域网访问,Gateway 需绑定到 LAN 接口(gateway.bind: “lan” 或指定 IP),不能仅绑定到 loopback(127.0.0.1)。若通过 SSH 隧道或 Tailscale 等 VPN 访问,Gateway 可保持 loopback 绑定,因为流量会转发到本地。 认证:推荐使用 Token 认证。在 gateway.auth 中设置 mode: “token” 并配置 token。确保 Token 与节点端一致。

By Ne0inhk