【零基础玩转多模态AI:Gemma3 27B开源视觉模型本地部署与远程访问】

【零基础玩转多模态AI:Gemma3 27B开源视觉模型本地部署与远程访问】
💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。
推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

前言

如今在 AI 领域的竞争逐渐进入了白热化,各家大模型的性能较量真是一天一个变化。今天和大家分享的是由谷歌带来的 Gemma3 开源大模型,它有 10 亿、40 亿、120 亿和 270 亿参数等多种规模版本,我们可以按需选择。

在多项基准测试中,Gemma 3 全家桶相较于上一代实现了全面提升,仅以 27B 参数击败了 o1-preview、o3-mini high、DeepSeek V3,属于仅次于 DeepSeek R1 的开源模型。而且可以理解 140+语言,中文支持也很好,更棒的是支持视觉输入和文本输出的多模态能力。

下面就来具体演示一下如何在家用级的 Windows 系统电脑上,使用 ollama 来安装部署 Gemma3:27B 大模型,并给他搭配一个 WebUI 界面,让我们在与 AI 互动时获得更美观的界面与更多的辅助功能。

1744091869943

1. 安装 Ollama

本例中使用的是 Windows11 系统专业版,通过 Ollama 运行 Gemma3:27B 大模型,之前曾经发布过如何在 Windows 安装 Ollama 的教程,有需要的同学可以看看这篇文章:Windows 本地部署 Deepseek-R1 大模型并使用 Web 界面远程交互

简单来说,就是访问 Ollama 的官网:Download Ollama on Windows

image-20250408144901346

下载对应版本的 ollama 安装程序并安装:

image-20250408144936715

2.Gemma3 模型安装与运行

然后在 Ollama 的官网点击 Models,可以看到排在最上边的就是 Gemma3 模型全家桶:

image-20250408145138702

点进去之后,在左侧的下拉选项中能看到目前有 4 个量级的模型,分别是 1b/4b/12b/27b 和对应所需的储存空间:

image-20250408145434595

本例使用 gemma3:27b 模型进行演示,**支持多模态(视觉)**27B 参数模型(128k 上下文窗口),需要准备 20G 以上硬盘空间,右边是运行命令:

image-20250408145622588

Ollama 安装完成之后,打开 cmd 或者 powershell 等终端工具,执行命令就可以下载模型了:

ollama run gemma3:27b 
PS:默认会下载模型到 C 盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以 d:\ollama 为例,大家可以自定义:

如果你之前安装过 ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级 ollama 到最新版本。

image-20250408153616855

更新后,即可正常下载:

image-20250408154135178

模型下载完成之后,安装成功后会提示 success:

image-20250408161835787

自动进入对话状态,直接输入内容就能提问了:

image-20250408150619788

3. 安装 Open WebUI 图形化界面

现在我们已经能够在本地 Windows 电脑上使用 Gemma3 27B 模型解答问题了,但在命令行中对话可能不是很美观,在复制回答时也不太方便,我们可以通过安装一个图形化界面来解决这个问题。

不过在此之前,我们需要配置 Ollama 的环境变量,在终端中分别执行下方命令以便后续远程调用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的 ollama 图标退出并重启服务。

本例以Open WebUI这个图形化界面为例,使用 Docker 进行安装,它的界面和平时在网页中和其他大模型聊天非常相似。当然,大家也可以选择其他的方式,比如使用page assist 浏览器插件lobechatcherry studio等。

如果大家之前未安装过 Docker,可以参考下方教程进行Docker 安装Docker 安装——Linux、Windows、MacOS

3.1 Open WebUI 安装运行

访问Open WebUI的 github 页面: https://github.com/open-webui/open-webui

如果你的 Ollama 和 Open WebUI 在同一台主机,执行这行命令在cmd终端中就可以在本地快速进行部署:

image-20240412140749937
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 

将上边在 Docker 中部署 Open WebUI 的命令复制后粘贴到终端中,回车:

image-20240412144132799

安装完成后,打开 Docker Desktop,可以看到 Open WebUI 的 web 界面地址为:https://localhost:3000

image-20240412144401182

点击后会在浏览器打开登录界面:

image-20240412144744192

使用自己的邮箱注册账号,密码要记好,下次登录时需要用到:

image-20240412144927140

添加模型后就能在浏览器中使用 web 界面来和 Gemma3 27B 模型聊天了!

image-20250408162703645

3.2 添加模型

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240412145306289

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,这里选择刚才安装的 gemma3:27b,接下来就可以愉快的跟大模型在网页中聊天了!

image-20250408162829645
image-20250408164042496

到这里就成功在 Windows 电脑本地部署了 gemma3:27b 模型并使用 Open WebUI 在网页中与 AI 交互啦。

3.3 多模态测试

现在我们上传一张图片测试一下效果:(点击对话框左侧加号即可上传图片)

image-20250408165103486

确实有点东西,识别物品的效果还是不错的,还给出了一个结论。

再来测试上传一张人物照片给它,让它分析一下拍摄效果并给出优化建议:

image-20250408170901214
1744103447878

感觉似乎分析的也还行,大家感兴趣的话也可以稍后自己部署一下进行测试。

4. 安装内网穿透工具

但如果想实现不在同一网络环境下,也能随时随地在浏览器中使用 Open WebUI 与本地部署的 gemma3:27b 大模型在网页中聊天,那就需要借助 cpolar 内网穿透工具来实现公网访问了!接下来介绍一下如何安装 cpolar 内网穿透,过程同样非常简单:

首先进入 cpolar 官网:

cpolar 官网地址:https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的 cpolar:

image-20250307152003085

登录成功后,点击下载 cpolar 到本地并安装(一路默认安装即可)本教程选择下载 Windows 版本。

image-20240319175308664

cpolar 安装成功后,在浏览器上访问 http://localhost:9200,使用 cpolar 账号登录,登录后即可看到配置界面,结下来在 WebUI 管理界面配置即可。

img

接下来配置一下 Open WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:gem27(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:选择随机域名
  • 地区:选择 China Top
1744103682229

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是 http 和 https:

image-20250408171521306

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了 cpolar 的公网域名,无需自己购买云服务器,即可到随时在线访问 Open WebUI 来在网页中使用本地部署的 gemma3:27b 大模型了!

image-20250408171805771

小结

为了方便演示,我们在上边的操作过程中使用 cpolar 生成的 HTTP 公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在 24 小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问 Open WebUI 使用 gemma3:27b 模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为 Open WebUI 配置一个公网地址。

5. 配置固定公网地址

接下来演示如何为其配置固定的 HTTP 公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定 http 端口地址需要将 cpolar 升级到专业版套餐或以上。

登录 cpolar 官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250408171952309

保留成功后复制保留成功的二级子域名的名称:mygem27,大家也可以设置自己喜欢的名称。

image-20250408172009637

返回 Cpolar web UI 管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:gem27,点击右侧的编辑:

image-20250408172111336

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mygem27

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250408172153785

更新完成后,打开在线隧道列表,可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250408172230906

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的 Open WebUI 来使用 gemma3:27b 大模型了!

image-20250408172435086

总结

通过以上步骤,我们实现了在 Windows 系统电脑本地安装 Ollama 与谷歌 gemma3:27b 大模型,并使用 docker 部署 Open WebUI,结合 cpolar 内网穿透工具轻松实现在公网环境中使用浏览器远程访问本地部署的大模型,并配置固定不变的二级子域名公网地址的全部流程,经过简单测试,这款大模型的多模态功能确实效果很惊艳,而且还支持在家用级硬件配置上进行本地部署,降低了使用门槛,非常期待它后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限,如有纰漏,欢迎各位大佬评论批评指正!😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话,也请给个点赞、收藏下吧,非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧!🌙🌙🌙

Read more

【开源发布】FinchBot (雀翎) — 当 AI 说“让我想办法“,而不是“我不会“(已获Gitee官方推荐)

【开源发布】FinchBot (雀翎) — 当 AI 说“让我想办法“,而不是“我不会“(已获Gitee官方推荐)

玄同 765 大语言模型 (LLM) 开发工程师 | 中国传媒大学 · 数字媒体技术(智能交互与游戏设计) ZEEKLOG · 个人主页 | GitHub · Follow 关于作者 * 深耕领域:大语言模型开发 / RAG 知识库 / AI Agent 落地 / 模型微调 * 技术栈:Python | RAG (LangChain / Dify + Milvus) | FastAPI + Docker * 工程能力:专注模型工程化部署、知识库构建与优化,擅长全流程解决方案 「让 AI 交互更智能,让技术落地更高效」 欢迎技术探讨与项目合作,解锁大模型与智能交互的无限可能! FinchBot (雀翎) — 当 AI 说"让我想办法"而不是"我不会&

By Ne0inhk
Flutter 组件 actions_toolkit_dart 适配鸿蒙 HarmonyOS 实战:自动化套件方案,构建 GitHub Actions 深度集成与跨端流水线治理架构

Flutter 组件 actions_toolkit_dart 适配鸿蒙 HarmonyOS 实战:自动化套件方案,构建 GitHub Actions 深度集成与跨端流水线治理架构

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 actions_toolkit_dart 适配鸿蒙 HarmonyOS 实战:自动化套件方案,构建 GitHub Actions 深度集成与跨端流水线治理架构 前言 在鸿蒙(OpenHarmony)生态迈向全球化开源协作、涉及极大规模的跨端 CI/CD 流水线构建、多机型自动化兼容性测试及严苛的代码准入控制背景下,如何实现一套既能深度对接 GitHub Actions 核心底脚(Toolkits)、又能提供原生 Dart 编程感且具备工业级日志输出与状态管理的“自动化控制基座”,已成为决定应用研发迭代频率与交付质量稳定性的关键。在鸿蒙项目这类强调多模块(HAP/HSP)并行构建与分布式证书签名校验的环境下,如果 CI 脚本依然依赖大量零散的 Shell 拼接,由于由于环境变量的微差异,极易由于由于“脚本不可维护”导致鸿蒙应用在自动化发布环节频繁由于由于故障导致阻塞。

By Ne0inhk

GitHub 上开源了 30+ 个 OpenClaw 真实使用案例。

最近逛 GitHub 的时候发现了一个挺有意思的仓库,专门收集 OpenClaw 的 usecases。 说实话,很多人装完 OpenClaw 之后的操作都是一样的:疯狂往里面塞各种 Skill,ClawHub 逛得跟菜市场一样热闹,今天装个天气查询,明天装个股票分析,后天又来个翻译助手。 结果装了一堆却发现每天还是在信息搜索、做个记录。Skill 装了一百个,生活一点没变轻松。 这个开源项目就是专门收集人们真实在用的 OpenClaw 场景,而不是单纯介绍某个 Skill 或插件。 01 开源项目简介 awesome-openclaw-usecases 目前收录了 30 多个经过验证的真实使用场景。 它的核心理念非常简单:不是教你装什么 Skill,而是告诉你别人是怎么把 OpenClaw 变成真正能帮人类干活的私人助理的。 如果你不知道 OpenClaw 具体能做什么,只停留在抽象概念。有一些自动化或搭建 AI 智能体想法,但不知道如何系统落地,想参考别人已经跑通的真实工作流和自动化方案。

By Ne0inhk

小白友好!阿里联合高校开源的数字人模型使用全攻略

小白友好!阿里联合高校开源的数字人模型使用全攻略 你是否想过,只需一张照片和一段音频,就能生成一个会说话、有表情、动作自然的“数字人”视频?现在,阿里联合多所高校推出的 Live Avatar 开源项目,让这一切变得触手可及。虽然它技术先进,但通过本篇小白也能看懂的全攻略,我们将带你一步步掌握它的使用方法,从部署到生成高质量视频,全程无坑。 本文不讲复杂架构,不说晦涩术语,只聚焦:你该怎么用、怎么避免踩雷、怎么调出好效果。无论你是AI爱好者、内容创作者,还是开发者,都能快速上手。 1. 这个模型到底能做什么? Live Avatar 是一个基于14B大模型的语音驱动数字人视频生成系统。简单来说,你给它: * 一张人物照片(比如你的自拍) * 一段语音(比如你想说的话) * 一句描述(比如“她微笑着介绍产品”) 它就能生成一个口型与语音同步、表情自然、画面高清的数字人说话视频,就像你在对着镜头讲话一样。 它适合这些场景: * 制作短视频口播内容(

By Ne0inhk