【踩坑实录】解决 LLamafactory 微调 InternVL3 报错 “Processor was not found” 的完整流程

【踩坑实录】解决 LLamafactory 微调 InternVL3 报错 “Processor was not found” 的完整流程

如何解决 LLamafactory 微调 InternVL3 报错 “Processor was not found”

在使用 LLamafactoryInternVL3 模型进行微调时,许多同学可能会遇到以下报错:

Processor was not found 

这个错误的出现主要是由于 模型与 LLamafactory 的预处理器(Processor)定义不匹配,导致在加载模型时无法正确找到对应的处理器。本文记录了我踩坑的完整过程,以及最终的解决方案,供大家参考。


1. 环境准备

首先,我们需要正确安装 LLamafactory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" --no-build-isolation 

确保 Python 版本 ≥ 3.9,并且已经安装了 Pytorch + CUDA 的 GPU 环境(不然后续训练无法运行)。


2. 问题复现

我最开始是直接使用 HuggingFace 官方给出的 InternVL3 模型链接,例如:

OpenGVLab/InternVL3-1B 
在这里插入图片描述

但是在使用 LLamafactory 进行加载和微调时,会不断出现以下报错:

Processor was not found 
在这里插入图片描述

我尝试过多种issues的解决方案,比如:

  • 手动安装 transformers 的不同版本
  • 替换 AutoProcessorAutoTokenizer + AutoImageProcessor
  • 查看官方 issue 中类似的报错

最后找到一个最稳定的解决方案。


3. 解决方案

不要使用官方给出的 HF 模型地址,而是要使用 适配 LLamafactory 的模型版本

也就是说,你需要找到在 HuggingFace 上提供的 带有完整 Processor 配置 的版本,而不是直接拉取官方原始模型。

官方所给链接的版本


LLamafactory所需要的版本

这样,LLamafactory 在加载模型时就能自动找到 processor_config.json,避免报错。

在这里插入图片描述

4. 示例:微调 InternVL3

当正确使用支持的 HuggingFace 模型后,微调就能顺利进行了。

下面以 InternVL3 的自我认知微调 为例:

在这里插入图片描述


在这里插入图片描述


这样模型可以正常加载 Processor 并开始训练。


5. 总结

  • 出现 Processor was not found 报错,本质原因是 模型与 LLamafactory 的依赖不兼容
  • 解决方法是 换用 HuggingFace 上与 LLamafactory 匹配的模型版本,而不是使用官方原始模型。
  • 一旦模型能正常加载 Processor,后续的 SFT(微调)、Lora 等流程就能顺利跑通。

如果你在微调 InternVL3 的过程中也遇到过类似问题,希望这篇文章能帮你节省踩坑时间 🚀。


Read more

【人工智能】异构算力重构AIGC | 蓝耘智算平台部署通义万相2.1文生图技术全解析

【人工智能】异构算力重构AIGC | 蓝耘智算平台部署通义万相2.1文生图技术全解析

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀ 蓝耘智算平台 * 通义万相2.1文生图 * 优势 * 模型效果对比 * 蓝耘智算平台 * 登陆注册 * 蓝耘:通义万相2.1文生图的配置部署 * 使用实例 * 总结 前言:在人工智能(AI)技术日新月异的今天,AIGC(生成式人工智能内容生成)作为新兴领域,正以前所未有的速度改变着内容创作的格局。随着数据规模、算法复杂度的不断攀升,算力需求也呈现出爆发式增长的趋势。在这一背景下,异构算力作为提升算力效率与灵活性的关键手段,正逐渐成为推动AIGC技术发展的核心驱动力。 在AIGC技术指数级进化的浪潮下,文生图模型的参数量已突破千亿级门槛,据Stability AI最新报告显示,单次1080P图像生成的算力消耗较两年前激增320%,传统同构计算架构面临显存墙、能耗比失衡、硬件利用率不足等多重挑战。蓝耘智算平台通过革命性的异构算力重构方案,成功部署通义万相2.1这一业界领先的文生图大模型,开创了"算法-算力-场景"三位一体的AIGC工业化新范式。 蓝耘智算平台

llama.cpp Vulkan后端在AMD显卡上的完整部署指南:从问题诊断到性能优化

llama.cpp Vulkan后端在AMD显卡上的完整部署指南:从问题诊断到性能优化 【免费下载链接】llama.cppPort of Facebook's LLaMA model in C/C++ 项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp 想要在AMD显卡上流畅运行llama.cpp却频频遭遇Vulkan初始化失败?本指南将带你系统解决兼容性问题,实现高效的大语言模型本地化部署。llama.cpp作为C/C++实现的高性能大语言模型推理框架,通过Vulkan后端可以显著提升GPU加速效果,但在AMD平台上的特殊配置需求往往让新手望而却步。 问题快速诊断方法 常见故障症状识别 当你遇到以下任一情况时,很可能遇到了AMD显卡与Vulkan后端的兼容性问题: * 启动崩溃:程序启动时立即崩溃,日志显示"vkCreateInstance failed" * 加载卡顿:模型加载进度卡在"Initializing

OKX欧易量化交易机器人:打造你的24小时自动赚钱利器

OKX欧易量化交易机器人:打造你的24小时自动赚钱利器

加密货币市场永不眠,而你我需要休息——这就是量化交易机器人的价值所在。 在瞬息万变的加密货币市场,手动交易不仅耗时费力,还容易受到情绪影响。OKX欧易交易所推出的量化交易机器人正是为解决这一痛点而生,它能够24小时不间断地监控市场并执行交易,让你即使在睡眠中也能捕捉交易机会。 为什么选择量化交易机器人? 量化交易机器人是通过预设的算法和策略自动执行交易的程序。它们具有以下优势: * 持续市场覆盖:全天候运行,不会错过任何市场机会 * 无情绪交易:严格按照规则执行,避免市场恐惧和贪婪的影响 * 多重风险管理:可设置多种风险参数,控制潜在损失 * 回溯测试能力:基于历史数据验证策略有效性 * 多任务处理:同时监控多个交易对和执行多种策略 OKX量化机器人生态系统 OKX提供了丰富的量化交易工具和策略,其中包括网格交易、定投计划、套利策略等。2025年5月,OKX还推出了机器人交易活动,总奖池高达130,000 USDT,让用户体验自动化交易的同时还有机会获得奖励。 OKX网格策略:震荡市场的盈利利器 网格交易是OKX最受欢迎的量化策略之一,其原理是将币价分割成

基于2-RSS-1U的双足机器人并联踝关节分析与实现

基于2-RSS-1U的双足机器人并联踝关节分析与实现

"当你的机器人开始像人类一样思考如何走路时,你会发现,原来最复杂的不是大脑,而是脚踝。"这句话在机器人学界越来越成为共识。论文ASAP中的研究也证实,在sim2real中,偏差最大的正是踝关节控制。 参考文献:On the Comprehensive Kinematics Analysis of a Humanoid Parallel Ankle Mechanism 结构变体:Structural design and motion analysis of parallel ankle joints for humanoid robots 脚踝革命:深入解析人形机器人高性能并联踝关节 传统的单轴踝关节设计,就像给机器人穿了一双"高跟鞋"——虽然能走,但走得很僵硬,很危险。我们需要的是像人类脚踝一样的灵活性:既能前后摆动(pitch),又能左右倾斜(roll)