【保姆级教程】llama.cpp大模型部署全攻略：CPU/GPU全兼容，小白也能轻松上手！

优质文章学习记录

— 8 min read
【保姆级教程】llama.cpp大模型部署全攻略：CPU/GPU全兼容，小白也能轻松上手！

一、简介

  • • llama.cpp 是一个在 C/C++ 中实现大型语言模型（LLM）推理的工具
  • • 支持跨平台部署，也支持使用 Docker 快速启动
  • • 可以运行多种量化模型，对电脑要求不高，CPU/GPU设备均可流畅运行
  • • 开源地址参考：https://github.com/ggml-org/llama.cpp

• 核心工作流程参考：

二、安装与下载模型（Docker方式）

1. 搜索可用模型

• 这里以 qwen3-vl 模型为例，提供了多种量化版本，每种版本的大小不一样，根据自己的电脑性能做选择，如选择（模型+量化标签）：Qwen/Qwen3-VL-8B-Instruct-GGUF:Q8_0

• 可以在huggingface官网中搜索可用的量化模型：https://huggingface.co/models?search=gguf

2. 使用 docker-compose 安装启动 llama.cpp

  • • 提前安装好Docker、docker-compose软件环境
  • • （可选）如果有GPU，需要安装好 NVIDIA 驱动程序、NVIDIA Container Toolkit
    英伟达驱动安装参考文档： https://developer.nvidia.com/cuda-toolkit-archive
    NVIDIA Container Toolkit安装参考：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
//运行下面命令，如果输出显卡信息即Docker内可以正常使用GPUdocker run --rm --gpus all nvidia/cuda:12.5.0-runtime-ubuntu22.04 nvidia-smi
  • • 新建docker-compose.yml配置文件，参考下面内容：
    CPU运行版本
services: llama-cpp-server: image: ghcr.io/ggml-org/llama.cpp:server ports: - "8000:8000" volumes: - ./cache:/root/.cache command: > -hf Qwen/Qwen3-VL-8B-Instruct-GGUF:Q8_0 --jinja -c 65535 --port "8000" --host 0.0.0.0 restart: unless-stopped

GPU运行版本

services: llama-cpp-server: image: ghcr.io/ggml-org/llama.cpp:server-cuda ports: - "8000:8000" volumes: - ./cache:/root/.cache command: > -hf Qwen/Qwen3-VL-8B-Instruct-GGUF:Q8_0 --jinja -c 65535 --port "8000" --host 0.0.0.0 --n-gpu-layers 99 restart: unless-stopped deploy: #使用GPU主要增加这个配置 resources: reservations: devices: - driver: nvidia count: all #使用所有GPU，可以指定数量和特定GPU capabilities: [gpu]

关键参数注解，参考如下

-hf # 从 HuggingFace 自动下载模型--jinja # 启用聊天格式模板（多轮对话必需）-c 65535 # 上下文窗口大小（tokens数量，越大占用越多显存）--port "8000" # 容器内监听端口--host 0.0.0.0 # 监听所有网络接口（Docker 容器必需）--n-gpu-layers 99 # GPU 加载层数（99=全部层，0=纯CPU）更多参数用法参考：https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
  • • 配置完，直接一键启动即可

docker-compose up -d
初次启动会自动从huggingface下载模型可能比较耗时（网络不好的话请自行配置加速代理），成功下载并启动截图如下：

三、使用

1. llama.cpp 默认提供的 Web Ui中使用

  • • 启动后，可直接访问：http://ip:8000/，进入对话页面

• 在对话界面，可以输入文本、文件、图片等直接和启动的模型进行对话
文本对话

多模态对话

2. 使用 llama.cpp 提供的 Openai 接口兼容 API

• 多模态对话示例
上面启动的 Qwen/Qwen3-VL 是非常强大的多模态模型，可以进行图片对话，输入下面手写文本图片

postman请求示例截图如下：

• 文本对话API，适合通用问题回答
postman请求示例截图如下：

四、总结

  • • llama.cpp 是个非常强大大语言模型启动工具，让普通电脑也能快速运行大语言模型，基于C/C++开发，性能比 Ollama 更优
  • • 安装依赖较少，兼容CPU/GPU，可跨平台部署，可Docker一键部署
  • • 提供Web Ui在线访问，也提供 Openai 接口兼容的 Api ，方便快速接入各种客户端
  • • 私有部署，完全免费且私密，可以满足各种应用场景，如询问一下私密问题、搭建本地AI笔记、搭建本地AI数据库应用、识别自己的图片内容等

五、AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

在这里插入图片描述


​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

在这里插入图片描述


​

在这里插入图片描述

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

在这里插入图片描述


在这里插入图片描述

04.大模型面试题目详解

在这里插入图片描述
在这里插入图片描述

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

在这里插入图片描述


在这里插入图片描述

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

在这里插入图片描述


如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Read more

一键部署Z-Image-Turbo：云端AI绘画不求人

一键部署Z-Image-Turbo：云端AI绘画不求人 你是不是也遇到过这样的场景：脑子里有个绝妙的画面，想把它画出来，但要么不会画画，要么打开专业绘图软件折腾半天，最后出来的效果还不如想象力的十分之一？ 或者，作为内容创作者、电商运营，每天需要大量配图、海报，找图库要花钱，自己设计又太费时间，效率低得让人抓狂。 今天，我要给你介绍一个“神器”——Z-Image-Turbo 极速云端创作室。它不是一个复杂的软件，而是一个打包好的云端AI绘画应用。你不需要懂代码，不需要配置环境，甚至不需要高性能电脑，只需要点几下鼠标，就能拥有一个属于你自己的、能秒级生成高清大图的AI画室。 这听起来是不是有点不可思议？别急，跟着我，10分钟你就能亲手把它搭建起来，并画出第一张作品。 1. 为什么你需要这个“云端画室”？ 在深入动手之前，我们先搞清楚，这个工具到底能帮你解决什么问题。 1.1 传统AI绘画的三大痛点 如果你之前尝试过一些AI绘画工具，可能会对这几个问题深有体会： 1. 部署复杂：想用开源的Stable Diffusion？光是安装Python、
Formality：原语(primitive)的概念

Formality：原语(primitive)的概念

相关阅读 Formalityhttps://blog.ZEEKLOG.net/weixin_45791458/category_12841971.html?spm=1001.2014.3001.5482         原语(primitive)一般指的是语言内置的基本构件，它们代表了基本的逻辑门和构件，通常用于建模电路的基本功能，例如Verilog中的门级建模会使用and、or等关键词表示单元门。Formality也存在原语的概念，这一般出现在对门级网表进行建模时，本文将对此进行详细解释。         假设以例1所示的RTL代码作为参考设计（可以看出添加了// synopsys sync_set_reset综合指令让Design Compiler将其实现为带同步复位端的D触发器），例2所示的综合后网表作为实现设计，其中data_out_reg原语是一个带同步复位端的D触发器(FDS2)。 // 例1 module ref( input clk, input reset, input data_in, output reg data_
Vivado 使用教程

Vivado 使用教程

目录 一、创建工程 二、创建文件 三、编写代码 四、仿真验证 五、配置管脚 六、生成Bitstream文件并烧录 一、创建工程 1.左边创建（或打开）工程，右侧可以快速打开最近打开过的工程。 2.来到这一步，命名工程并设置工程的存放路径（这里以D触发器为例） 3.选择RTL点击next。会来到添加文件环节（可以在这里添加.v等文件，不过后面再添加是一样的）直接点击next。 4.选择芯片型号（根据开发板选，这里随便选的），完成后点next会弹出信息概要，finish完成。         二、创建文件 完成上述步骤会进入当前界面： 1.工程管理器add sourse添加（创建）设计文件，创建文件后选择Verilog语言并命名。 2.定义端口（可选），若在这定义后，
具身智能与视觉：机器人如何“看懂”世界？

具身智能与视觉：机器人如何“看懂”世界？

具身智能与视觉：机器人如何“看懂”世界？ * 前言 * 一、具身智能的奥秘探索 * 1.1 具身智能的深度剖析 * 1.2 具身智能的发展脉络梳理 * 二、视觉：机器人感知世界的 “慧眼” * 2.1 机器人视觉系统的架构解析 * 2.2 计算机视觉技术的关键支撑 * 三、机器人如何借助视觉 “看懂” 世界 * 3.1 视觉感知与环境理解 * 3.2 视觉引导下的决策与行动 * 3.3 视觉与其他传感器的融合 * 四、具身智能中视觉技术的挑战 * 4.1 复杂环境下的视觉鲁棒性 * 4.2 实时性与计算资源的平衡 * 4.3 语义理解与常识推理的欠缺 * 五、具身智能视觉技术的未来发展趋势 * 5.