llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg **模型主gguf文件要和mmporj文件从一个库里下载，否则会有兼容问题，建议从ggml的官方库里下载
Multimodal GGUFs官方库
看官方文档
要使用LlamaChatHandler类，官方已经写好了不少多模态模型的加载类，比如qwen2.5vl的写法：
from llama_cpp import Llama 
引言 不知道大家关注到没？文心大模型 ERNIE 4.5 已开源并首发于 GitCode 平台！不同于以往的开源模型，百度这次一口气开源了 10 款模型，覆盖基础、对话、多模态、思考等多个方向，甚至将核心训练框架、分布式策略完全开放。在基准测试中，文心开源即刷榜，性能大幅超越 Qwen3 、 DeepSeek-V3 等模型；下面跟随博主一起从模型架构特性、技术分析、部署难度等来对文心模型全面解析一下！ 文章目录 * 引言 * 一、文心大模型 ERNIE 4.5 开源简介 * 1.1 开源模型版本介绍 * 1.2 基准测试表现 * 1.3 全面的工具生态链 * 二、文心大模型 ERNIE 4.5技术分析
写文章用哪个AI？2025年AI写作工具终极指南 前言：当你盯着空白文档时，AI正在盯着你 相信每个写作者都经历过这样的时刻：deadline如达摩克利斯之剑悬在头顶，Word文档里却只有一个闪烁的光标在嘲笑你的才华枯竭。这时候，你可能会想：“要是有个AI能帮我写就好了。” 好消息是，2025年的今天，AI写作工具已经从"能用"进化到"好用"，甚至"离不开"的程度。坏消息是，选择太多也是一种甜蜜的负担。 一、主流AI写作工具横向对比 1. Claude（Anthropic）—— 学术派的温柔巨人 核心优势： * 长文本处理能力：支持20万+tokens的上下文，能一次性处理约15万字的内容 * 逻辑连贯性：在长篇文章写作中表现出色，结构清晰，论证严密 * 安全性高：内容审核严格，适合正式场合使用 适用场景： * 学术论文、研究报告 * 长篇商业文档
在开源大模型领域，Qwen 系列凭借强大的中文能力和友好的协议受到广泛欢迎。然而，直接使用基座模型往往无法满足特定业务场景的需求，需要通过微调来注入领域知识。微调后的模型如何高效部署？GGUF 格式是目前 llama.cpp 等推理后端广泛支持的格式，具有跨平台、内存映射等优点。本文将完整记录使用 LLaMA-Factory 微调 Qwen2.5-7B-Instruct 模型，并通过 llama.cpp 将微调后的模型转换为 GGUF 格式的全过程，并分享在转换过程中遇到的经典错误及其解决方案。 1.环境准备 我们在一台 Linux 服务器上操作，安装了 Conda 用于环境隔离。需要准备以下组件： Python 3.10 LLaMA-Factory（用于微调） llama.cpp（用于格式转换） transformers、peft、accelerate 等依赖库 1.1
作者：算力魔方创始人/英特尔创新大使 刘力 一，什么是Spec-Kit？ 在传统的软件开发中，通常先有需求→ 写规格 → 再写代码；规格多数是“指导性文档”，而真正的业务逻辑和边界由程序员“翻译”出来。Spec-Driven Development（规格驱动开发）的理念是，将规格（spec）从“仅供参考”提升为可执行、可驱动的核心工件，直接引导后续设计、计划、任务拆解、实现等流程。spec-kit 是 GitHub 提供的一个工具集 / CLI / 模板库，用来在项目中落地这种流程！ Github: https://github.com/github/spec-kit 二，搭建运行环境 本节将指导您从零开发搭建Spec-Kit的运行环境。 第一步：在Ubuntu24.04上安装uv： curl -LsSf