【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【MySQLJavawebRustpython

🎈热门专栏:🎊【SpringbootRedisSpringsecurityDockerAI】 

感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️

目录

🎈本地部署模型

🎉安装Ollama

🎉安装 Open WebUI

🎊安装Docker

🥞启动 Hyper-v

🥞 安装 WSL(适用于Linux的Windows的子系统):

🥞安装Docker

 🎊Docker 部署 Open WebUI


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

ollama run qwen 

 现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置

setx OLLAMA_MODELS "D:" 

下载完成后,可以进行测试:

查看都安装了什么模型

ollma list命令显示所有安装模型 ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i" del hyper-v.txt Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
wsl --update 

然后进行安装

wsl --install 

 

🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

 🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

Read more

买不起显卡怎么玩AI语音?Whisper云端镜像5分钟上手

买不起显卡怎么玩AI语音?Whisper云端镜像5分钟上手 你是不是也遇到过这样的情况:想做一个酷炫的AI语音项目参加比赛,但家里电脑配置太低,连个独立显卡都没有?父母一听要花上万块买设备就摇头,而你又不想放弃这个展示创意的机会。别急——现在有一种方法,不用买显卡、不依赖高性能电脑,也能在5分钟内跑通最先进的语音识别模型。 这就是我们要聊的主角:Whisper云端镜像。它基于OpenAI开源的Whisper语音识别技术,专为资源有限的小白用户设计。无论你是高中生做AI创新赛项目,还是初学者想试试语音转文字功能,都可以通过ZEEKLOG提供的预置镜像,在云端快速部署并使用强大的语音识别能力。 这篇文章就是为你量身打造的实战指南。我会带你一步步操作,从零开始,不需要懂代码细节,也不需要自己装环境,只要跟着步骤点击几下,就能让Whisper模型帮你把录音自动转成文字,甚至还能支持多语言翻译和时间戳标注!整个过程就像打开一个网页应用那么简单。 学完这篇,你能做到: * 理解Whisper是什么、能干什么 * 在低配电脑上实现高精度语音转写 * 快速部署并调用云端AI模型服务

本地部署AI绘画就这么简单,麦橘超然实操笔记

本地部署AI绘画就这么简单,麦橘超然实操笔记 1. 开门见山:不用折腾显卡,8GB显存也能跑出专业级画质 你是不是也试过下载一堆AI绘画工具,结果刚点开就弹出“CUDA out of memory”?或者被复杂的环境配置、模型下载、依赖冲突搞得头大,最后连第一张图都没生成出来?别急,这次真不一样。 麦橘超然 - Flux 离线图像生成控制台,不是又一个需要你手动编译、调参、查报错的实验项目。它是一套开箱即用、专为中低显存设备打磨的完整方案——模型已打包进镜像,代码已写好,连端口转发都给你配好了命令行模板。你只需要三步:复制脚本、运行命令、打开浏览器,就能在自己的电脑或远程服务器上,亲手生成一张赛博朋克雨夜街景。 它背后用的是当前图像生成领域最前沿的 Flux.1 架构,但做了关键改造:DiT主干网络用 float8 量化压缩,文本编码器和VAE保持高保真精度,再配合 CPU 卸载机制,把原本动辄12GB显存的模型,硬生生压进6–

突破性能瓶颈:llama.cpp多GPU分布式计算优化实践指南

突破性能瓶颈:llama.cpp多GPU分布式计算优化实践指南 【免费下载链接】llama.cppPort of Facebook's LLaMA model in C/C++ 项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp 你是否还在为大模型推理时单GPU显存不足而苦恼?是否遇到过模型加载缓慢、生成效率低下的问题?本文将从实战角度出发,系统讲解llama.cpp项目的多GPU性能优化方案,帮你解决分布式推理中的设备调度、显存分配和并行效率三大核心难题。读完本文,你将掌握多GPU环境配置、性能监控与问题诊断的完整流程,让本地大模型部署效率提升300%。 多GPU架构解析:从设备发现到任务调度 llama.cpp通过GGML后端实现跨设备计算调度,其核心机制位于src/llama.cpp的设备管理模块。系统启动时会自动扫描所有可用计算设备,按优先级分为GPU、集成GPU(iGPU)和RPC服务器三类,相关代码逻辑如下: // 设备分类与优先级排序(

ComfyUI Manager终极指南:5步快速搭建AI绘画插件生态

ComfyUI Manager终极指南:5步快速搭建AI绘画插件生态 【免费下载链接】ComfyUI-Manager 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Manager 想要让ComfyUI发挥最大潜力?ComfyUI Manager就是你的AI绘画插件管理中心,它能让你一键安装数百种自定义节点、智能管理模型文件、轻松备份工作流配置。无论是AI绘画新手还是资深创作者,这个插件管理器都能让你的创作效率提升数倍。 🎨 揭秘ComfyUI Manager的核心价值 ComfyUI Manager不仅仅是一个插件管理器,更是你AI创作工作流的得力助手。通过这个工具,你可以: 插件生态扩展 * 🚀 发现并安装海量自定义节点 * 📦 智能管理依赖项和模型文件 * 🔄 实时更新插件版本 * 💾 快速备份和恢复配置 创作效率提升 * 通过js/comfyui-manager.js实现界面优化 * 利用glob/manager_core.py进行核心配置管理 * 借助snapshots/目录进行工作流快