llama.cpp加载多模态gguf模型

llama.cpp预编译包还不支持cuda12.6

llama.cpp的编译，也有各种坑

llama.cpp.python的也需要编译

llama.cpp命令行加载多模态模型

llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg 

**模型主gguf文件要和mmporj文件从一个库里下载，否则会有兼容问题，建议从ggml的官方库里下载
Multimodal GGUFs官方库

llama.cpp.python加载多模态模型

看官方文档
要使用LlamaChatHandler类，官方已经写好了不少多模态模型的加载类，比如qwen2.5vl的写法：

from llama_cpp import Llama