
DeepSeek R1 在 RK3588 上的 RKLLM 转换与 Web 部署流程
记录了在瑞芯微 RK3588 开发板上部署 DeepSeek R1 7B 模型的全过程。首先升级 NPU 驱动至 0.9.8 版本以支持 RKLLM 推理库;接着在 x86 环境下使用 rkllm-toolkit 将 Hugging Face 的 safetensors 权重转换为 .rkllm 格式并进行 W8A8 量化;随后在板端通过 C++ 示例或 Python Gradio 服务加载模型进行推理;最后实现局域网内的 Web 访问…












