开源力量：GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结

开源力量：GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结

目录

开源力量：GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结

摘要

一、技术背景

1.1 昇腾NPU

1.2 GitCode平台

1.3 vLLM Ascend

二、环境准备

2.1 创建GitCode Notebook

2.2 配置Hugging Face镜像

三、部署方案一：原生部署（transformers + torch_npu）

3.1 安装依赖

3.2 下载模型

3.3 推理代码

3.4 原生方案性能测试

四、部署方案二：vLLM Ascend优化

4.1 安装vLLM Ascend

4.2 启动vLLM推理服务

4.3 vLLM Ascend性能测试

单请求性能对比

并发性能测试（模拟在线服务）

五、完整部署流程

5.1 环境准备

5.2 选择部署方案

5.3 常见问题解决

六、总结

6.1 性能对比总结

6.2 实践建议

6.3 相关资源

摘要

本文记录了在华为昇腾NPU平台上部署Mistral-7B-Instruct-v0.2大语言模型的完整技术实践，包括原生部署和使用vLLM Ascend优化两种方案。通过GitCode平台的免费昇腾910B NPU云资源，完成了从环境搭建、模型下载到推理性能对比的全流程测试。

实测数据：

• 原生方案（transformers + torch_npu）：约18 tokens/s
• vLLM Ascend方案：约45-60 tokens/s（2-3倍性能提升）

一、技术背景

1.1 昇腾NPU

昇腾是华为自研的AI计算芯片，采用达芬奇架构，提供从训练（910B）到推理（310/710）的全场景覆盖。

核心特点：

1. 全栈自研：硬件（达芬奇架构）→ 计算库（CANN）→ 框架（MindSpore）
2. 自主可控：核心IP 100%自研，通过国家信创认证
3. 性能可靠：已在金融、能源、政务等关键场景规模化落地

1.2 GitCode平台

GitCode提供免费的昇腾NPU云资源，开发者可在线体验。

资源配置：

• 计算类型：NPU 910B
• 硬件规格：1 × NPU 910B + 32 vCPU + 64GB 内存
• 操作系统：EulerOS 2.9
• 存储：50GB（限时免费）

镜像环境：

euler2.9-py38-torch2.1.0-cann8.0-openmind0.6-notebook

关键组件版本：

1.3 vLLM Ascend

vLLM Ascend是vLLM社区官方提供的昇腾NPU硬件插件，可实现：

1. 完全兼容vLLM API：无需修改代码即可迁移
2. 显著性能提升：相比原生方案可提升2-5倍吞吐量
3. 丰富模型支持：Transformer、MoE、多模态模型

二、环境准备

2.1 创建GitCode Notebook

1. 登录GitCode，进入「我的Notebook」

1. 点击「激活Notebook」

1. 配置资源：

• Notebook类型：NPU basic（1×NPU 910B + 32vCPU + 64GB）
• 镜像：euler2.9-py38-torch2.1.0-cann8.0-openmind0.6-notebook
• 存储：50GB

1. 启动后进入终端验证环境：

# 验证NPU可用性 python -c "import torch; import torch_npu; print(f'PyTorch: {torch.__version__}'); print(f'torch_npu: {torch_npu.__version__}'); print(f'NPU available: {torch.npu.is_available()}')"

预期输出：

PyTorch: 2.1.0 torch_npu: 2.1.0.post3 NPU available: True

2.2 配置Hugging Face镜像

export HF_ENDPOINT=https://hf-mirror.com

作用：将Hugging Face请求重定向到国内镜像站，加速模型下载。

三、部署方案一：原生部署（transformers + torch_npu）

3.1 安装依赖

在昇腾 NPU 上运行 Mistral-7B-Instruct-v0.2，需要搭建三层推理环境：

• 模型层：Hugging Face 托管，通过 transformers 加载
• 框架层：PyTorch + torch-npu（NPU 适配插件）+ accelerate（多设备调度）
• 硬件层：昇腾 NPU

运行时：transformers 解析模型结构 → PyTorch 构建计算图 → torch-npu 编译为昇腾指令 → accelerate 优化设备分配与加载策略。

pip install transformers accelerate --upgrade

3.2 下载模型

huggingface-cli download mistralai/Mistral-7B-Instruct-v0.2 \ --local-dir ./models/Mistral-7B-Instruct-v0.2 \ --local-dir-use-symlinks False

• 下载 16 个文件（权重分片 + 配置 + tokenizer）
• Safetensors 分片约 13–14 GB，5 分钟内完成，支持断点续传
• 稳定性优于 from_pretrained() 在线加载

💡 --local-dir-use-symlinks 参数用于兼容旧脚本，新版已默认禁用符号链接

3.3 推理代码

benchmark_mistral_npu.py对Mistral-7B-Instruct-v0.2进行基准测试

核心步骤：

1. 环境准备：导入 torch_npu 注册 NPU 设备
2. 模型加载：使用 AutoModelForCausalLM 加载本地模型，指定 FP16 精度节省显存（约 14 GB）
3. 设备分配：通过 device_map="npu:0" 自动将模型迁移至 NPU
4. 推理执行：输入经 tokenizer 编码后送入模型，generate() 方法生成 120 tokens，temperature=0.7 平衡多样性与连贯性

import torch import torch_npu from transformers import AutoModelForCausalLM, AutoTokenizer # 加载模型 model_path = "./models/Mistral-7B-Instruct-v0.2" model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="npu:0" ) tokenizer = AutoTokenizer.from_pretrained(model_path) model.eval() # 推理测试 prompt = "介绍一下人工智能的发展历程" inputs = tokenizer(prompt, return_tensors="pt").to("npu:0") with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=120, do_sample=True, temperature=0.7 ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response)

3.4 原生方案性能测试

本次测试基于华为昇腾 NPU 环境，使用 Mistral-7B-Instruct-v0.2 开源大模型，在 FP16 精度下完成加载与推理，并围绕五类典型任务（中文问答、英文问答、代码生成、逻辑推理、长上下文理解）进行端到端性能评估。测试结果如下：

显存占用：约15GB

四、部署方案二：vLLM Ascend优化

4.1 安装vLLM Ascend

方式一：使用gitee镜像源码安装（推荐国内用户）

# 1. 克隆 Gitee 镜像 git clone https://gitee.com/mirrors/vllm-ascend.git cd vllm-ascend # 2. 切换到 v0.7.x 版本 git checkout v0.7.3 # 3. 安装构建依赖 pip install setuptools_scm wheel -i https://pypi.tuna.tsinghua.edu.cn/simple # 4. 禁用自定义算子编译，安装 export COMPILE_CUSTOM_KERNELS=0 pip install --no-build-isolation -e . # 5. 验证安装 python -c "import vllm; print(f'vLLM version: {vllm.__version__}')"

方式二：使用pip直接安装

# 安装指定版本 pip install vllm-ascend==0.11.0

4.2 启动vLLM推理服务

# 方式一：命令行启动服务 vllm serve mistralai/Mistral-7B-Instruct-v0.2 \ --tensor-parallel-size 1 \ --max-model-len 4096 \ --dtype float16 \ --port 8000 # 方式二：Python代码调用 from vllm import LLM, SamplingParams llm = LLM( model="mistralai/Mistral-7B-Instruct-v0.2", tensor_parallel_size=1, max_model_len=4096, dtype="float16" ) sampling_params = SamplingParams( temperature=0.7, max_tokens=120 ) outputs = llm.generate(["介绍一下人工智能的发展历程"], sampling_params) for output in outputs: print(output.outputs[0].text)

4.3 vLLM Ascend性能测试

单请求性能对比

并发性能测试（模拟在线服务）

关键优势：

1. 延迟稳定：高并发下延迟增长平缓
2. 吞吐领先：QPS=16时达到911 tokens/s
3. 资源高效：支持动态batching和连续批处理

五、完整部署流程

5.1 环境准备

1. 申请GitCode Notebook资源
2. 配置Hugging Face镜像
3. 验证NPU可用性

5.2 选择部署方案

5.3 常见问题解决

1. tokenizers版本问题

pip install tokenizers>=0.14.0

1. 显存不足

# 使用量化 model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="npu:0", load_in_8bit=True # INT8量化 )

1. 模型下载失败

# 使用镜像并设置超时 export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download ... --resume-download

六、总结

6.1 性能对比总结

6.2 实践建议

1. 开发阶段：使用原生方案快速验证功能
2. 生产部署：采用vLLM Ascend获得最佳性能
3. 成本控制：GitCode免费资源足够完成初步验证
4. 性能调优：根据实际QPS需求选择合适的batch size

6.3 相关资源

• 昇腾官网：https://www.hiascend.com/
• vLLM Ascend：https://github.com/vllm-project/vllm-ascend
• GitCode：https://gitcode.com/ascend
• 昇腾社区：https://www.hiascend.com/community