开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Gradio

一、前言

     目前，Qwen模型已经升级到了2.5版本。无论是语言模型还是多模态模型，它们都是在大规模的多语言和多模态数据上进行预训练的，并通过高质量的数据进行后期微调，以更好地符合人类的需求。

    Gradio作为一个强大的工具，极大地加速了机器学习模型的体验和测试过程。它通过提供一个用户友好的界面，让开发者和用户能够直观地与模型进行交互。无论是文本生成、图像识别还是音频处理，用户只需简单地输入相关内容，就能实时观察到模型的响应，这种即时反馈大大提高了模型评估的效率。同时，Gradio支持多种输入输出形式，使得开发者能够更全面地测试模型在不同场景下的表现。

    本篇将介绍如何使用Gradio快速体验Qwen2.5-7B-Instruct与vllm集成推理的效果。

二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. Qwen2.5

    Qwen2.5系列模型都在最新的大规模数据集上进行了预训练，该数据集包含多达 18T tokens。相较于 Qwen2，Qwen2.5 获得了显著更多的知识（MMLU：85+），并在编程能力（HumanEval 85+）和数学能力（MATH 80+）方面有了大幅提升。

    此外，新模型在指令执行、生成长文本（超过 8K 标记）、理解结构化数据（例如表格）以及生成结构化输出特别是 JSON 方面取得了显著改进。 Qwen2.5 模型总体上对各种system prompt更具适应性，增强了角色扮演实现和聊天机器人的条件设置功能。

    与 Qwen2 类似，Qwen2.5 语言模型支持高达 128K tokens，并能生成最多 8K tokens的内容。它们同样保持了对包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等 29 种以上语言的支持。 我们在下表中提供了有关模型的基本信息。

    专业领域的专家语言模型，即用于编程的 Qwen2.5-Coder 和用于数学的 Qwen2.5-Math，相比其前身 CodeQwen1.5 和 Qwen2-Math 有了实质性的改进。 具体来说，Qwen2.5-Coder 在包含 5.5 T tokens 编程相关数据上进行了训练，使即使较小的编程专用模型也能在编程评估基准测试中表现出媲美大型语言模型的竞争力。 同时，Qwen2.5-Math 支持 中文 和 英文，并整合了多种推理方法，包括CoT（Chain of Thought）、PoT（Program of Thought）和 TIR（Tool-Integrated Reasoning）。

2.3. Qwen2.5-7B-Instruct

    是通义千问团队推出的语言模型，拥有70亿参数，经过指令微调，能更好地理解和遵循指令。作为 Qwen2.5 系列的一部分，它在 18T tokens 数据上预训练，性能显著提升，具有多方面能力，包括语言理解、任务适应性、多语言支持等，同时也具备一定的长文本处理能力，适用于多种自然语言处理任务，为用户提供高质量的语言服务。

2.4. Gradio

    是一个用于构建交互式界面的Python库。它使得在Python中创建快速原型、构建和共享机器学习模型变得更加容易。

    Gradio的主要功能是为机器学习模型提供一个即时的Web界面，使用户能够与模型进行交互，输入数据并查看结果，而无需编写复杂的前端代码。它提供了一个简单的API，可以将输入和输出绑定到模型的函数或方法，并自动生成用户界面。

三、前提条件 

3.1. 基础环境及前置条件

 1）操作系统：centos7

 2）Tesla V100-SXM2-32GB  CUDA Version: 12.2

3）创建虚拟环境及安装依赖库

conda create --name test python=3.10 conda activate test pip install gradio openai

  gradio和opein版本：

4）使用Docker部署Qwen2.5-7B-Instruct模型       

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）https://charles.blog.ZEEKLOG.net/article/details/142727087    启动结果：

(vllm) [root@gpu test]# docker run --runtime nvidia --gpus "device=0" \ > -p 9000:9000 \ > --ipc=host \ > -v /data/model/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ > -it --rm \ > vllm/vllm-openai:latest \ > --model /qwen2.5-7b-instruct --dtype float16 --max-parallel-loading-workers 1 --max-model-len 10240 --enforce-eager --host 0.0.0.0 --port 9000 --enable-auto-tool-choice --tool-call-parser hermes INFO 10-17 01:17:57 api_server.py:526] vLLM API server version 0.6.1.dev238+ge2c6e0a82 INFO 10-17 01:17:57 api_server.py:527] args: Namespace(host='0.0.0.0', port=9000, uvicorn_log_level='info', allow_credentials=False, allowed_origins=['*'], allowed_methods=['*'], allowed_headers=['*'], api_key=None, lora_modules=None, prompt_adapters=None, chat_template=None, response_role='assistant', ssl_keyfile=None, ssl_certfile=None, ssl_ca_certs=None, ssl_cert_reqs=0, root_path=None, middleware=[], return_tokens_as_token_ids=False, disable_frontend_multiprocessing=False, enable_auto_tool_choice=True, tool_call_parser='hermes', model='/qwen2.5-7b-instruct', tokenizer=None, skip_tokenizer_init=False, revision=None, code_revision=None, tokenizer_revision=N