介绍 llama.cpp 官方性能测试工具 llama-bench 的使用方法。通过标准化测试流程，对比不同量化模型性能差异，优化线程数、GPU 层分配及批处理大小等关键参数。支持 CSV、JSON 等多种输出格式，帮助开发者建立性能基准，突破本地部署大语言模型的吞吐量瓶颈，实现从 20 t/s 到 130 t/s 的性能提升。
在本地部署大语言模型（LLM）时，性能优化是绕不开的核心问题。相同的模型在不同硬件和参数配置下，吞吐量（tokens/秒）可能相差 5 倍以上。llama.cpp 提供的 llama-bench 工具通过标准化测试流程，帮助开发者验证硬件配置的实际利用率、对比不同量化模型的性能差异、优化线程数及 GPU 层分配等关键参数，并建立性能基准以追踪代码迭代对速度的影响。
llama-bench 主要关注两类核心性能指标：
确保已编译 llama.cpp 项目，生成 llama-bench 可执行文件：
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make llama-bench
使用默认参数运行基准测试（需提前准备 GGUF 格式模型）：
./llama-bench -m models/7B/ggml-model-q4_0.gguf
默认测试将输出 Markdown 格式的结果表格，包含提示词处理（512 tokens）和文本生成（128 tokens）的平均速度：
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| llama 7B mostly Q4_0 | 3.56GiB | 6.74B | CUDA | 99 | pp512 | 2368.80±93.24 |
| llama 7B mostly Q4_0 | 3.56GiB | 6.74B | CUDA | 99 | tg128 | 131.42±0.59 |
llama-bench 支持三种测试模式，通过参数组合灵活配置：
| 测试模式 | 参数组合 | 适用场景 |
|---|---|---|
| 仅提示词处理 | -p 1024 -n 0 | 评估长文档理解性能 |
| 仅文本生成 | -p 0 -n 256 | 优化对话生成流畅度 |
| 混合测试 | -pg 512,128 | 模拟实际对话场景 |
GPU 层数量（-ngl）是影响性能的关键参数。通过将模型层卸载到 GPU，可显著提升速度。实测 7B 模型在 RTX 4080 上的性能变化：
./llama-bench -m models/7B/ggml-model-q4_0.gguf -ngl 10,20,30,35
测试结果显示，当 -ngl=35 时（完全卸载所有层），生成速度从 13 t/s 提升至 131 t/s，提升 9 倍：
| ngl | pp512 t/s | tg128 t/s |
|---|---|---|
| 10 | 373.36±2.25 | 13.45±0.93 |
| 35 | 2400.01±7.72 | 131.66±0.49 |
CPU 线程数设置需平衡核心数量与内存带宽。推荐测试线程数为 CPU 核心数的 1-2 倍：
./llama-bench -t 4,8,16,32 -p 64 -n 16
在 8 核 CPU 上的实测表明，线程数超过 8 后性能提升趋于平缓：
| threads | pp64 t/s | tg16 t/s |
|---|---|---|
| 4 | 23.18±0.06 | 12.22±0.07 |
| 8 | 32.29±1.21 | 16.71±0.66 |
| 16 | 33.52±0.03 | 15.32±0.05 |
增大批处理大小（-b）可显著提升长提示词处理速度，但需注意显存限制：
./llama-bench -b 128,256,512,1024 -p 1024 -n 0
测试显示，当批处理大小从 128 增至 1024 时，PP 速度提升近 70%：
| n_batch | pp1024 t/s |
|---|---|
| 128 | 1436.51±3.66 |
| 1024 | 2498.61±13.58 |
同时测试多个模型的性能差异，快速选择最优量化方案：
./llama-bench \
-m models/7B/ggml-model-q4_0.gguf \
-m models/7B/ggml-model-q8_0.gguf \
-p 0 -n 128,256
llama-bench 支持多种输出格式，满足不同分析需求：
| 格式 | 参数 | 应用场景 |
|---|---|---|
| Markdown | -o md | 直接嵌入文档 |
| CSV | -o csv | Excel 数据透视表分析 |
| JSON | -o json | 导入 Python 进行可视化 |
| SQL | -o sql | 存入数据库长期追踪 |
例如，生成 JSON 格式结果用于后续分析：
./llama-bench -o json > performance.json
JSON 输出包含详细的测试元数据，如 CPU 型号、GPU 信息和每轮测试的原始数据：
{
"build_commit": "8cf427ff",
"cpu_info": "AMD Ryzen 7 7800X3D",
"gpu_info": "NVIDIA RTX 4080",
"model_type": "qwen2 7B Q4_K - Medium",
"avg_ts": 119.844681,
"stddev_ts": 0.699739,
"samples_ts": [120.038, 120.203, 118.624, 120.377, 119.982]
}
-r 5）取平均值| 性能瓶颈 | 症状 | 解决方案 |
|---|---|---|
| GPU 未充分利用 | pg t/s 低，GPU 占用<50% | 增加 -ngl 至 99，完全卸载模型 |
| CPU 线程争用 | 高线程数时 t/s 下降 | 减少线程数至 CPU 核心数 |
| 内存不足 | 测试崩溃或卡顿 | 降低批处理大小，使用更小量化模型 |
通过 llama-bench 工具，开发者可以系统地优化本地 LLM 部署的性能。关键步骤包括：
-ngl）和线程数（-t）释放硬件潜力-b）提升吞吐量随着 llama.cpp 项目的持续迭代，未来性能测试将支持更多硬件加速（如 SYCL/Metal 后端）和高级特性（如 speculative decoding）。建议定期运行基准测试，追踪性能优化效果。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online