llama.cpp加载多模态gguf模型

llama.cpp预编译包还不支持cuda12.6
llama.cpp的编译,也有各种坑
llama.cpp.python的也需要编译
llama.cpp命令行加载多模态模型
llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg 

**模型主gguf文件要和mmporj文件从一个库里下载,否则会有兼容问题,建议从ggml的官方库里下载
Multimodal GGUFs官方库

llama.cpp.python加载多模态模型

看官方文档
要使用LlamaChatHandler类,官方已经写好了不少多模态模型的加载类,比如qwen2.5vl的写法:

from llama_cpp import Llama 

Read more

OpenCode AI 编程保姆级使用教程:从安装到实战,效率直接拉满

OpenCode AI 编程保姆级使用教程:从安装到实战,效率直接拉满

前言 当下 AI 编程工具层出不穷,而OpenCode凭借开源免费、多模型兼容、多端适配、项目级上下文感知的核心优势,成为了程序员的新晋效率神器。它不是简单的代码补全工具,而是能真正理解项目架构、帮你从需求分析到代码落地的 AI 编码代理,支持终端、桌面应用、IDE 扩展等多种使用方式,还能对接国内外 75 + 种 LLM 模型,兼顾便捷性和代码隐私性。 本文结合 OpenCode 官方文档和实际使用经验,用最通俗易懂的语言,从安装配置、核心操作、实战技巧、高级玩法四个维度,带你彻底玩转 OpenCode,不管是编程新手还是资深开发者,都能快速上手并提升开发效率! 一、先搞懂:OpenCode 到底适合谁?有啥核心优势? 1. 适用人群 * 编程新手:不用死记硬背语法,自然语言描述需求就能生成代码,快速入门; * 资深开发者:摆脱重复编码、重构老项目、

(第三篇)Spring AI 实战进阶:从0开发IDEA插件版AI代码助手(Java全栈+上下文感知)

(第三篇)Spring AI 实战进阶:从0开发IDEA插件版AI代码助手(Java全栈+上下文感知)

前言 作为 Java 开发者,我们每天都在重复编写 CRUD 代码、调试语法错误、优化性能问题 —— 这些机械性工作占用了大量时间,而市面上的通用 AI 代码助手(如 Copilot)往往无法精准感知项目上下文(比如项目的包结构、依赖版本、数据库表结构),生成的代码需要大量修改才能落地。 笔者近期基于 Spring AI+IDEA 插件开发了一款定制化 AI 代码助手:后端基于 Spring AI 整合 JavaParser、Maven API 实现代码解析与生成,前端通过 IDEA 插件提供对话窗口和一键插入代码功能,支持需求描述→完整代码生成代码优化、上下文感知、补全三大核心能力。本文将从实战角度,完整拆解这款 AI 代码助手的开发全流程,所有代码均为生产环境可直接复用的实战代码,同时结合可视化图表清晰呈现核心逻辑,希望能帮你打造专属的 AI

2026年3月18日 AI 每日动态

2026年3月18日 AI 每日动态

1. 【AI Coding 工具】Claude Code 终于有了"长期记忆"——claude-mem 爆红 Claude Code 用起来顺手,但每次开新会话就像把同事的记忆清零——项目背景要重新交代,之前做过的决策一问三不知。现在有个叫 claude-mem 的开源插件彻底改变了这件事。 它的工作方式很直接:自动抓取每次会话里的工具调用记录(读了哪些文件、改了哪些代码、跑了什么命令),会话结束后用 AI 把这些信息压缩成结构化摘要,下次开工时自动注入进来。一万 Token 的操作记录,最终压缩到 500 Token 左右,同时还支持自然语言检索历史("上次那个 React 重复渲染是怎么解的?")。 目前已有超 3 万人收藏,宣称能节省 90% 的 Token

Windows 使用 Codex 一直“正在思考”?一招解决 AI 工具代理问题(附一键切换脚本)

📚 目录 一、问题背景:Codex 一直“正在思考”却没有回答 二、第一步:查看本机代理端口 三、第二步:测试代理是否可用 四、第三步:给 Codex App 配置代理 五、让 Codex 代理配置生效 六、验证代理是否生效 七、如何取消代理配置 八、代理配置是否会影响国内软件 九、开发者推荐的代理配置方式 十、完整流程总结 一、问题背景 最近在 Windows 上使用 Codex 时遇到了一个很奇怪的问题: 输入问题后,界面一直显示: 正在思考 但是 没有任何回答。 最开始以为是: * Codex Bug * API Key