8卡RTX 5090服务器llama.cpp测试

优质文章学习记录

— 11 min read

8 卡 RTX 5090 服务器

完整安装及性能调优指南

 8卡RTX 5090服务器 从 NVIDIA驱动安装 → CUDA环境 → llama.cpp编译 → 多GPU测试 的完整、可直接执行流程（基于Ubuntu 22.04 LTS，适配Blackwell架构）。

一、系统与硬件准备（必做）

1.1 系统要求

• 推荐：Ubuntu 22.04 LTS（64位）

• 内核：6.8+ HWE内核（5090必须高内核）

• 禁用：Nouveau开源驱动（与NVIDIA驱动冲突）

1.2 硬件检查

Bash
# 查看8张5090是否被识别
lspci | grep -i nvidia
# 应输出8条 NVIDIA Corporation Device 2782 (rev a1)

二、安装NVIDIA驱动（5090专属流程）

2.1 卸载旧驱动与禁用Nouveau

Bash
# 1. 彻底卸载旧NVIDIA驱动
sudo apt purge nvidia* libnvidia* -y
sudo apt autoremove -y

# 2. 禁用Nouveau
sudo bash -c 'echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf'
sudo update-initramfs -u

# 3. 重启生效
sudo reboot

2.2 安装高版本HWE内核（5090强制要求）

Bash
# 安装6.8+ HWE内核
sudo apt update
sudo apt install linux-generic-hwe-22.04 -y
sudo reboot

# 验证内核版本（必须≥6.8）
uname -r
# 输出示例：6.8.0-45-generic

2.3 安装5090专用开源驱动（-open）

RTX 5090（Blackwell）必须用 open-dkms 开源内核模块驱动，闭源驱动会报错。

Bash
# 添加显卡驱动PPA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 安装590-open驱动（5090推荐）
sudo apt install nvidia-driver-590-open -y

# 重启
sudo reboot

# 验证驱动（8卡均正常显示）
nvidia-smi

输出应显示 8张RTX 5090、驱动版本 590.xx、CUDA Version 12.4+。

三、安装CUDA Toolkit（llama.cpp依赖）

3.1 安装CUDA 12.4（与590驱动匹配）

Bash
# 下载CUDA 12.4安装包
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run

# 安装（仅安装CUDA Toolkit，不装驱动）
sudo sh cuda_12.4.0_550.54.14_linux.run --silent --toolkit

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.4/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证CUDA
nvcc -V
# 输出应显示 release 12.4

3.2 安装基础编译工具（llama.cpp多GPU核心依赖）

Bash
sudo apt update sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

四、安装llama.cpp编译依赖

Bash
# 基础编译工具
sudo apt update
sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

# 验证依赖
gcc --version  # ≥11
cmake --version # ≥3.22

五、编译llama.cpp（开启8卡CUDA加速）

5.1 克隆源码

Bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

5.2 编译（开启CUDA + 多GPU + 5090算力sm_120）

Bash
# 关键参数：
# LLAMA_CUDA=1：启用CUDA
# LLAMA_CUDA_DMMV_X=32：提升多GPU显存效率
# LLAMA_CUDA_N_GRAPH_LAYERS=9999：全层GPU卸载
# LLAMA_CUDA_ARCHS=120：5090专属算力（sm_120）
cmake -B build \
  -DLLAMA_CUDA=ON \
  -DLLAMA_CUDA_DMMV_X=32 \
  -DLLAMA_CUDA_N_GRAPH_LAYERS=9999 \
  -DLLAMA_CUDA_ARCHS=120 \
  -DCMAKE_BUILD_TYPE=Release

# 8线程编译（匹配服务器CPU核心）
cmake --build build -j$(nproc)

5.3 验证编译

Bash
./build/bin/llama-cli --help | grep -E "cuda|gpu"
# 应输出：--cuda, --gpu-layers N 等CUDA参数

六、准备GGUF模型（测试用）

6.1 下载测试模型（以Qwen3 32B Q4_K_M为例）

Bash
# 进入模型目录
mkdir -p models && cd models

# 下载Qwen3 32B Q4_K_M量化模型（4-bit，显存友好）
wget https://hf-mirror.com/bartowski/Qwen_Qwen3-32B-GGUF/resolve/main/Qwen_Qwen3-32B-Q4_K_M.gguf



cd ..

七、8卡5090 llama.cpp测试（核心步骤）

7.1 单卡基础测试（验证CUDA）

Bash
cd .. 

./build/bin/llama-cli \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

--gpu-layers 99 \

-t 64 \

-c 32768 \

-p "你好"

同时另开一个终端，

watch -n 1 nvidia-smi

7.2 8卡并行测试（多GPU自动负载均衡）

llama.cpp 自动识别所有NVIDIA GPU，无需手动指定卡ID。

Bash
./build/bin/llama-cli \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

-n 1024 \

--gpu-layers 99 \

-t 32 \

-c 16384 \

-p "撰写关于8x RTX 5090服务器用于大语言模型（LLM）推理的技术概述。" \

--batch-size 1024 \

--mlock \

--flash-attn on

[ Prompt: 289.1 t/s | Generation: 66.6 t/s ]

7.3 8卡显存与负载验证

新开终端，实时监控：

Bash
watch -n 1 nvidia-smi

8张5090显存均被占用（≈4GB/卡）、GPU利用率 =55%。

八、性能调优（8卡5090专属）

8.1 关键参数优化

Bash
# 8卡极致性能参数
./build/bin/llama-cli \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

-n 2048 \

--gpu-layers 99 \

-t 64 \

-c 32768 \

-p "撰写关于8x RTX 5090服务器用于大语言模型（LLM）推理的技术概述。" \

--batch-size 2048 \

--mlock \

--flash-attn on \

--no-mmap \

--numa distribute

-n 2048：将最大生成token数提升至2048，满足更长篇幅的技术概述撰写需求；

-t 64：分配64个CPU线程，匹配多GPU并行推理的CPU调度需求，提升协同效率；

-c 32768：将上下文长度提升至32768，支持更长文本输入与生成，适配技术概述的深度撰写；

--batch-size 2048：提升批量推理效率，适配8×RTX 5090多GPU并行算力；

--mlock：锁定内存，避免内存交换（swap），提升多GPU推理稳定性；

--flash-attn on：启用Flash Attention优化，充分发挥RTX 5090硬件性能，显著提升推理速度；

--no-mmap：禁用内存映射（mmap），减少内存开销，进一步提升多GPU协同推理速度；

--numa distribute：启用NUMA（非统一内存访问）优化，采用“distribute”模式，将执行任务均匀分配到所有CPU节点，适配多CPU节点服务器，平衡CPU与多GPU之间的内存访问效率，避免资源瓶颈

[ Prompt: 280.4 t/s | Generation: 65.2 t/s ]

8张5090显存均被占用（≈4GB/卡）、GPU利用率 =55%。

8.2 多GPU显存分配（手动指定）

如需手动分配层到不同GPU：

Bash
# 示例：前40层到GPU0，后40层到GPU1-7
./build/bin/llama-cli -m models/Qwen_Qwen3-32B-Q4_K_M.gguf -n 2048 --gpu-layers 80 --main-gpu 0 -t 64 -c 32768 -p "撰写关于8x RTX 5090服务器用于大语言模型（LLM）推理的技术概述。" --batch-size 2048 --mlock --flash-attn on --no-mmap --numa distribute

-n 2048：最大生成token数，满足技术概述长文本撰写需求；

-t 64：分配64个CPU线程，匹配多GPU并行推理的CPU调度，提升协同效率；

-c 32768：上下文长度32768，支持长文本输入与生成；

--batch-size 2048：提升批量推理效率，适配8×RTX 5090多GPU算力；

--mlock：锁定内存，避免内存交换，提升推理稳定性；

--flash-attn on：启用Flash Attention优化，充分发挥RTX 5090硬件性能；

--no-mmap：禁用内存映射，减少内存开销，提升多GPU协同速度；

--numa distribute：NUMA优化，均匀分配任务到所有CPU节点，避免资源瓶颈；

--gpu-layers 80：核心分层配置，总加载80层模型到GPU（前40层+后40层），需确保该层数不超过Qwen3-32B模型总层数（适配32B模型，80层为合理分配值）；

--main-gpu 0：关键分层参数，指定GPU0作为主GPU，llama.cpp会优先将前40层模型加载到主GPU（GPU0），剩余的40层会自动均匀分配到其余GPU（GPU1-GPU7），完全匹配“前40层到GPU0，后40层到GPU1-7”的需求；

补充：llama.cpp不支持--cuda-devices参数，无需手动指定GPU设备（0-7），通过--main-gpu 0即可实现分层分配，系统会自动识别剩余GPU并分配后续层数。

[ Prompt: 248.7 t/s | Generation: 65.1 t/s ]

九、常见问题排查

1. nvidia-smi 只显示部分卡

￮ 重启服务器、检查PCIe插槽与供电

￮ 确认驱动为 590-open，非闭源

2. llama.cpp 只跑CPU，不调用GPU

￮ 编译时必须加 -DLLAMA_CUDA=ON

￮ 运行时加 --gpu-layers ≥32

￮ 验证CUDA：nvcc -V

3. 显存溢出（OOM）

￮ 降低 --gpu-layers（如99→80）

￮ 使用更低量化（Q3_K_M）

￮ 增大 -c 上下文窗口

4. 5090 报错：Failed to allocate NvKmsKapiDevice

￮ 必须用 nvidia-driver-xxx-open 开源驱动

￮ 内核必须 ≥6.8

十、最终验证

执行以下命令，确认 8卡5090全量工作：

Bash
./build/bin/llama-cli \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

-n 4096 \

--gpu-layers 99 \

-t 64 \

-c 32768 \

-p "阐述8x RTX 5090在大型语言模型部署中的优势。" \

--batch-size 2048 \

--mlock \

--flash-attn on

[ Prompt: 229.4 t/s | Generation: 65.7 t/s ]

十、输出测试效果：

# 使用 llama-bench 正确的参数格式

./build/bin/llama-bench \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

-t 64 \

-p 512,2048,8192 \

-n 128,512,2048 \

-ngl 99 \

-b 2048 \

-ub 512 \

-fa 1 \

-r 3 \

2>&1 | tee benchmark_results.txt

| model                                           |       size     |     params | b ackend    | ngl   | fa |            test   |                  t/s         |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA |  99 | 1 | pp512    |   3569.28 ± 44.41 |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA  |  99 | 1 | pp2048 |  3744.03 ± 0.42 |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA  |  99 | 1 | pp8192 |   3512.90 ± 0.50 |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA  |  99 |  1 |   tg128 |      66.56 ± 0.02 |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA  |  99 |  1 |    tg512 |     66.29 ± 0.07 |

| qwen3 32B Q4_K - Medium | 18.40 GiB | 32.76 B | CUDA  |  99 |  1 |   tg2048 |   65.12 ± 0.03 |

build: 08f21453a (8589)

Read more

AI如何助力六花直装V8.3.9的自动化开发与测试

快速体验 1. 打开 InsCode(快马)平台 https://www.inscode.net 2. 输入框内输入如下内容： 使用AI模型分析六花直装V8.3.9的更新日志，自动生成代码补丁和测试用例。输入更新内容描述，AI自动识别关键功能点并生成对应的代码修改建议，包括新增模块的代码框架、API接口调整等。同时，AI可以生成自动化测试脚本，验证新功能的稳定性和兼容性。支持多种编程语言和测试框架，适用于快速迭代开发。 1. 点击'项目生成'按钮，等待项目生成完整后预览效果 AI如何助力六花直装V8.3.9的自动化开发与测试 最近在跟进六花直装V8.3.9版本的开发过程中，我发现AI辅助开发工具确实能大幅提升效率。特别是对于这种需要频繁迭代更新的项目，从代码生成到测试验证，AI都能提供很好的支持。下面分享下我的实际体验。 1. 更新日志的智能分析 每次版本更新都会有详细的更新日志，但人工阅读和分析这些内容需要花费不少时间。通过AI工具，可以快速提取关键功能点和修改内容。比如输入&

koboldcpp完全指南：从安装到精通的AI模型部署新范式

koboldcpp完全指南：从安装到精通的AI模型部署新范式 【免费下载链接】koboldcppA simple one-file way to run various GGML and GGUF models with KoboldAI's UI 项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp 你是否还在为本地部署AI模型的复杂流程而困扰？是否想要一个无需繁琐配置就能运行多种GGML和GGUF模型的解决方案？本文将带你全面掌握koboldcpp——这款源自KoboldAI的轻量级AI部署工具，从基础安装到高级优化，让你轻松实现本地化AI文本生成、图像创建和语音处理。 什么是koboldcpp koboldcpp是一款基于llama.cpp开发的一站式AI部署工具，它将强大的功能集成到单个可执行文件中，无需复杂安装即可运行多种AI模型。作为GitHub加速计划的一部分，该项目提供了高效的本地化AI解决方案，支持文本生成、图像创建、语音识别与合成等多种功能。 主要特点包括： * 单文件可执行程序，无需安装和外部依赖
告别项目混乱！2026开工季：DooTask如何用“轻量化+AI”破解开发团队协同困局

告别项目混乱！2026开工季：DooTask如何用“轻量化+AI”破解开发团队协同困局

告别项目混乱！2026开工季：DooTask如何用“轻量化+AI”破解开发团队协同困局 在软件开发领域，迭代进度失控、跨岗位沟通断层、需求变更响应滞后是困扰团队的三大痛点。传统项目管理工具功能冗余、学习成本高，而DooTask凭借“轻量化+精准协同”的设计理念，成为开发团队突破效率瓶颈的利器。本文将结合DooTask最新功能升级解析其如何助力团队实现需求同步、迭代跟踪与跨岗协同的闭环管理。 一、需求同步：从“信息孤岛”到“全局透明” 痛点场景：需求变更引发连锁反应 传统模式下，产品经理通过文档或口头传达需求，开发者需反复确认细节，测试人员可能因信息滞后漏测关键功能。 DooTask解决方案：需求看板+智能关联 AI需求解析：Dootask引入先进的自然语言处理（NLP）技术，能够自动分析需求文档中的关键信息，如功能描述、性能指标、界面要求等，并生成结构化的需求模型。同时，AI还可以对需求进行语义理解，识别潜在的风险点和模糊表述，及时提醒产品经理进行澄清，避免后续开发过程中的误解。 智能关联机制：需求任务能够自动推送相关负责人，
【开发工具】Visual Studio 2022开发工具能够集成灵码这些AI插件吗？

【开发工具】Visual Studio 2022开发工具能够集成灵码这些AI插件吗？

🌹欢迎来到《小5讲堂》🌹 🌹这是《开发工具》系列文章，每篇文章将以博主理解的角度展开讲解。🌹 🌹温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！🌹 👨💻 作者简介 🏆 荣誉头衔：2024博客之星Top14 | ZEEKLOG博客专家 | 阿里云专家博主 🎤 经历：曾多次进行线下演讲，亦是 ZEEKLOG内容合伙人 以及 新星优秀导师 💡 信念：“帮助别人，成长自己！” 🚀 技术领域：深耕全栈，精通 .NET Core (C#)、Python、Java，熟悉主流数据库 🤝 欢迎交流：无论是基础概念还是进阶实战，都欢迎与我探讨！ 目录 * ✨前言 * 🛠️ 安装与配置指南 * ✨ 核心功能体验 * 💎 特别提示 * 推荐文章 ✨前言 有一段时间没有写代码了，一个原因是在忙点其他事情，另一个原因是有了AI开发工具之后， 写代码就更少了，特别是前端代码写的更少，前端代码的AI编写工具最多。 因此，