【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【MySQLJavawebRustpython

🎈热门专栏:🎊【SpringbootRedisSpringsecurityDockerAI】 

感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️

目录

🎈本地部署模型

🎉安装Ollama

🎉安装 Open WebUI

🎊安装Docker

🥞启动 Hyper-v

🥞 安装 WSL(适用于Linux的Windows的子系统):

🥞安装Docker

 🎊Docker 部署 Open WebUI


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

ollama run qwen 

 现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置

setx OLLAMA_MODELS "D:" 

下载完成后,可以进行测试:

查看都安装了什么模型

ollma list命令显示所有安装模型 ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i" del hyper-v.txt Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
wsl --update 

然后进行安装

wsl --install 

 

🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

 🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

Read more

告别SQL恐惧症:我用飞算JavaAI的SQL Chat,把数据库变成了“聊天室”

告别SQL恐惧症:我用飞算JavaAI的SQL Chat,把数据库变成了“聊天室”

摘要 对于许多开发者而言,与数据库打交道意味着繁琐的语法记忆、复杂的联表查询以及令人头疼的性能优化。你是否曾希望,能用说人话的方式直接操作数据库?飞算JavaAI专业版的SQL Chat功能,正是这样一个革命性的工具。本文将分享我如何将它变为一个永不疲倦的“数据库专家同事”,用自然语言轻松搞定一切数据需求。 一、 痛点切入:我们与SQL的“爱恨纠葛” 还记得那次惨痛的经历吗?新接手一个庞大项目,急需从几十张表中查询一份用户行为报表。你对着模糊的需求文档,在Navicat或DBeaver中艰难地敲打着JOIN、WHERE和GROUP BY,一遍遍执行、调试,生怕一个疏忽就拉垮了线上数据库。这不仅是技能的考验,更是对耐心和细心程度的终极折磨。 尤其是面对以下场景,无力感尤甚: * 复杂查询:涉及多表关联、嵌套子查询、窗口函数,SQL语句长得像一篇论文。 * 性能优化:一条SQL跑起来慢如蜗牛,却不知从何下手添加索引或改写。 * 老项目溯源:面对命名随意的表和字段,理解业务逻辑如同破译密码。 我们需要的不是一个更漂亮的SQL客户端,而是一个能理解我们意图的“智能数据库搭档”

一键部署 Qwen-Image-Lightning:AI绘画从未如此简单

一键部署 Qwen-Image-Lightning:AI绘画从未如此简单 你是否曾经被复杂的AI绘画工具劝退?需要安装各种依赖、配置环境参数、还要担心显存爆炸?现在,这一切都将成为历史。Qwen-Image-Lightning的出现,让AI绘画变得像使用手机APP一样简单——只需一键部署,输入文字,就能获得惊艳的高清图像。 这个基于Qwen旗舰底座的文生图镜像,集成了最新的Lightning加速技术,将传统的50步推理压缩到仅需4步,同时彻底解决了显存不足的痛点。无论你是设计师、内容创作者,还是只是想体验AI绘画乐趣的普通用户,都能在几分钟内开始创作属于自己的艺术作品。 1. 为什么选择Qwen-Image-Lightning? 在AI绘画工具百花齐放的今天,Qwen-Image-Lightning凭借几个核心优势脱颖而出,真正做到了"简单易用"和"专业效果"的完美结合。 1.1 极速生成,告别漫长等待 传统的文生图模型通常需要20-50步推理过程,生成一张图片往往需要几分钟时间。Qwen-Image-Lightning采用了ByteDance/HyperSD等前沿加速技

Llama Factory+LoRA实战:1小时打造金融领域问答专家

Llama Factory+LoRA实战:1小时打造金融领域问答专家 在金融领域,分析师常常需要快速理解财报、提取关键信息并回答复杂问题。传统方法耗时费力,而大语言模型(LLM)为解决这一问题提供了新思路。本文将介绍如何利用预装Peft库的Llama Factory镜像,通过LoRA高效微调技术,1小时内构建专属金融问答专家。这类任务通常需要GPU环境,目前ZEEKLOG算力平台提供了包含该镜像的预置环境,可快速部署验证。 为什么选择Llama Factory+LoRA方案? 量化研究员面临的核心矛盾是:全参数微调大模型成本过高,而直接使用基础模型又难以满足专业场景需求。Llama Factory+LoRA组合提供了理想解决方案: * LoRA技术优势:仅微调少量参数(通常<1%),显存消耗降低60%以上 * Llama Factory特性: * 预集成主流开源模型(如Qwen、LLaMA等) * 支持多种高效微调方法(LoRA/QLoRA/Adapter等) * 提供可视化训练监控界面 * 典型资源需求: | 模型规模 | 显存需求 | 训练时间 | |----

解决下载慢问题:国内可用的Stable Diffusion和LLaMA模型镜像站清单

国内可用的Stable Diffusion和LLaMA模型镜像站清单:高效解决下载慢问题 在AI生成内容(AIGC)迅速普及的今天,越来越多开发者、设计师和研究人员开始尝试本地部署Stable Diffusion或微调LLaMA这类大模型。但一个现实问题始终困扰着国内用户——模型下载太慢了。 你有没有经历过这样的场景?打开Hugging Face准备下载一个7GB的SDXL基础模型,进度条爬得比蜗牛还慢,半小时才下完一半,结果网络一断,前功尽弃。更别提训练LoRA时需要频繁拉取不同版本的基础权重,这种体验简直让人崩溃。 这背后的原因并不复杂:主流模型大多托管在境外平台(如Hugging Face、Replicate),而原始文件动辄数GB甚至数十GB,加上跨境链路不稳定、DNS污染、限速等问题,直接导致国内直连下载效率极低,严重拖慢了从环境搭建到实际训练的整体节奏。 好在社区早已意识到这个问题,并催生出一批高质量的国内模型镜像站点。它们通过在国内服务器缓存常用模型文件,提供HTTPS加速链接,极大提升了获取效率。配合LoRA这类轻量化微调技术,如今我们完全可以在消费级显卡上完成