Ubuntu 24.04 安装 NVIDIA Container Toolkit 全指南
在使用 Docker 运行需要 GPU 加速的 AI 应用时，可能会遇到报错：
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]
这是因为缺少 NVIDIA Container Toolkit —— 它是让容器访问宿主 GPU 的关键桥梁。
环境准备
验证驱动状态
nvidia-smi
成功时会显示类似以下输出（注意右上角的 CUDA 版本）
安装 NVIDIA Container Toolkit
添加官方仓库
sudo apt-get update && sudo apt-get install -y curl
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -sL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
执行安装
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
配置 Docker 运行时
更新 Docker 配置
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
验证安装结果
运行测试容器
docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi
成功时会看到与宿主机相同的 GPU 信息输出。
实战应用
现在可以运行你的 GPU 容器应用了！例如：
docker run --gpus all -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-gpu:latest
