科研党沸腾!AutoFigure让AI一键画出Nature级别的论文插图,告别PPT地狱

前天发了一个PaperBanana文章:

PaperBanana:AI科研人员画图终于不用头疼了

今天又刷到一篇ICLR 2026的论文,看完直接坐不住了。作为天天跟论文打交道的人,谁没为画一张像样的方法图熬过夜?现在终于有人把这事儿给彻底解决了——AutoFigure,一个能从长文本直接生成publication-ready科研插图的AI框架。

讲真,这次不是又来刷榜的那种工作。团队直接放了个大招:不仅搞出了第一个专门针对科研插图生成的benchmark FigureBench(3300对高质量文本-图片数据),还真的做出了一个能用的系统。最关键的是,人类专家评测显示,66.7%的生成结果达到了可以直接放进正式论文的标准。这可不是吹的,是实打实让10个一作来评价自己论文的图,然后给出的数据。

Figure 1: FigureBench数据集组成

科研可视化这座大山,终于有人动了

咱们先聊聊为啥要做这个。科研插图有多重要?一张好图能让审稿人3分钟看懂你的核心思想,防止理解偏差。但问题是,画一张高质量的科研插图,往往要花好几天时间,还得同时具备专业知识和设计能力。

之前也有些相关工作,比如Paper2Fig100k、ACL-Fig这些数据集,但它们主要是从caption或者短文本重建图片。而AutoFigure瞄准的是更硬核的任务:给你一整篇论文的方法部分(平均1万多tokens),让AI理解透了之后,自己规划视觉结构,生成完整的概念示意图。

这个难度可不是一个量级的。现有的T2I模型(像DALL-E这种)虽然能生成漂亮图片,但结构保真度差,经常画出来的东西跟你描述的逻辑对不上号。代码生成方法(直接让LLM写TikZ/SVG代码)倒是能保证结构,但视觉效果惨不忍睹,完全达不到发表标准。

AutoFigure的贡献可以总结为三点:

  1. FigureBench:第一个大规模科研插图生成benchmark,覆盖论文、综述、博客、教材四种类型
  2. AutoFigure框架:基于"先推理后渲染"(Reasoned Rendering)的分阶段生成范式

真实可用:通过大量自动化评测+人类专家评估,证明生成质量达到出版标准

Figure 2: AutoFigure框架总览

把"画图"拆成"想清楚"和"画出来"

AutoFigure最聪明的地方,就是把科研插图生成这个复杂任务,拆成了三个相对独立的阶段。这种decoupled的设计,真的是抓住了问题本质。

Stage I: 概念提取和布局规划

第一步是语义解析。给定一篇长文(比如1万tokens的方法描述),先用LLM提取核心方法论,识别出需要可视化的实体(entities)和关系(relations),然后把它们序列化成机器可读的符号布局,比如SVG或HTML格式。

但这还没完。AutoFigure搞了个critique-and-refine循环,模拟了AI设计师和AI评审的对话。具体来说:

F best ( i ) = Feedback ( Φ critic ( S best , A best ) ) F_{\text{best}}^{(i)} = \text{Feedback}(\Phi_{\text{critic}}(S_{\text{best}}, A_{\text{best}})) Fbest(i)​=Feedback(Φcritic​(Sbest​,Abest​))

( S cand ( i ) , A cand ( i ) ) = Φ gen ( T method , F best ( i ) ) (S_{\text{cand}}^{(i)}, A_{\text{cand}}^{(i)}) = \Phi_{\text{gen}}(T_{\text{method}}, F_{\text{best}}^{(i)}) (Scand(i)​,Acand(i)​)=Φgen​(Tmethod​,Fbest(i)​)

评审agent会从对齐度、平衡性、重叠避免等角度给出反馈,然后设计agent根据反馈重新解读方法文本,生成新的候选布局。如果新布局得分更高,就替换掉当前最佳版本。这个循环会持续N次或者直到收敛。

这个设计真的很巧妙,相当于给AI加了个"思考"过程,不是一次性直接硬怼,而是通过迭代搜索找到全局最优的布局。

Stage II: 美学渲染和文本后处理

拿到了结构化的布局之后,第二阶段就是把骨架变成有血有肉的图。这里用的是style-guided的方式,先用LLM把符号布局转成详细的text-to-image prompt,配合结构图(精确规定元素位置和连接关系),喂给多模态生成模型。

但这还有个老大难问题:文字渲染经常糊成一坨。AutoFigure用了个"擦除-纠正"(erase-and-correct)策略:

  1. 先用非LLM的eraser把生成图里的文字像素全擦掉,得到干净背景
  2. 用OCR引擎提取出原图的文字内容和边界框
  3. 用多模态verifier对照ground-truth(从SVG里解析的标准文字)纠正OCR结果
  4. 最后把纠正后的文字以矢量形式覆盖到干净背景上

这个操作就保证了最终图里的文字又清晰又准确

Figure 3: AutoFigure生成的多样化案例

人类专家都愿意用,这才是真本事

论文里做了三类评测:自动化评测、人类专家评测、消融实验。咱们重点看看最硬核的人类评测。

团队找了10个有first-author论文的专家,让他们评价自己论文的AI生成图。评测分三个任务:

  1. 多维度打分:准确性、清晰度、美观性,1-5分
  2. 整体排序:把6个AI模型+原始人工图一起排序
  3. 出版意愿:哪些图你愿意放进camera-ready版本

结果简直炸裂:

  • AutoFigure的win rate达到83.3%,仅次于人工原图的96.8%
  • 66.7%的专家愿意用AutoFigure生成的图发表论文
  • 在准确性、清晰度、美观性三个维度,AutoFigure都显著超过baseline
Figure 4: 人类专家评测结果


再看自动化评测的数据。AutoFigure在四个文档类型(Blog、Survey、Textbook、Paper)上都是最高分:

  • Blog类别:Overall 7.60,Win-Rate 75.0%
  • Survey类别:Overall 6.99,Win-Rate 78.1%
  • Textbook类别:Overall 8.00,Win-Rate 97.5%(这个太夸张了)
  • Paper类别:Overall 7.03,Win-Rate 53.0%

对比一下baseline的惨状:

  • GPT-Image(端到端T2I):美观度还行,但内容准确性差,Paper类别win rate只有7%
  • 代码生成方法(HTML/SVG):结构保真度还可以,但视觉效果太丑,美观分只有4-5分
  • Diagram Agent(多智能体框架):各项指标全面崩盘,win rate全是0%

这个InstructGPT的case特别能说明问题。Diagram Agent直接把三阶段流程压缩成一条细线,丢失了关键信息;GPT-Image只捕捉到粗略流程,排版混乱;代码方法虽然保留了框图骨架,但视觉上非常平淡。只有AutoFigure把SFT、RM、PPO三个阶段清晰分开,用一致的排版层次和语义化图标,做出了既科学严谨又视觉舒服的infographic。

每个模块都不是白给的

论文还做了很细致的消融分析。几个关键发现:

1. 渲染阶段提升明显
对比渲染前后的分数,Visual Design和Overall得分都有显著提升。比如用GPT-5做推理核心,渲染后Overall从6.38跳到7.48。这证明decoupled的渲染阶段确实有效提升了视觉吸引力,而且没有损害结构完整性。

2. 迭代优化真的有用
Test-time scaling实验显示,随着critique-and-refine循环次数从0增加到5,Overall得分从6.28稳步上升到7.14。这说明迭代优化不是花架子,确实在找更好的布局

3. 模型和格式都很关键

  • 推理模型越强越好:Claude-4.1-Opus > 其他模型
  • 中间格式选择也很重要:SVG (8.98) ≈ HTML (8.85) >> PPT (6.12)
  • PPT格式因为需要多次增量插入代码,容易出现不一致,导致最终输出偏离原文

数据集FigureBench:质量拉满的3300对样本

FigureBench的构建也很用心。核心测试集是这么来的:

  1. 从Research-14K随机抽400篇论文
  2. 用GPT-5为每篇选最能代表核心方法的插图
  3. 两个独立标注员审核,只保留都通过的(Cohen’s κ = 0.91,一致性非常高)
  4. 最终得到200个高质量样本

为了增加多样性,又从综述、技术博客、教材里手工精选了100个样本。然后用这300个高质量样本fine-tune了一个VLM作为自动filter,扩展出3000个开发集样本。

数据集统计也很有意思:

  • 平均文本长度10300 tokens(Paper类高达12732,Textbook只有352)
  • 平均文本密度41.2%(图里文字占比很高)
  • 平均6.2种颜色、6.4种形状、5.3个组件

这些数字说明任务确实很有挑战性,需要处理长上下文、复杂结构、高信息密度。

实战案例展示:AutoFigure的跨领域生成能力

论文附录展示了大量实际生成案例,覆盖教科书、技术博客、综述论文等多种场景,咱们挑几个有代表性的看看AutoFigure的真实表现。

教科书插图:清晰易懂是王道

投票悖论和育儿风格框架:AutoFigure把抽象概念(循环偏好、2×2矩阵分类)转化成直观的视觉结构,信息密度高但不拥挤,特别适合教学场景。

技术博客:视觉吸引力拉满

MapReduce框架:三阶段流程(Map → Shuffle → Reduce)的数据流动和中间状态都标注得清清楚楚,这种procedural diagram最考验逻辑清晰度。


VQAScore评估方法:Old Way vs New Way的对比设计,左边"CONFUSED!"右边精确对齐,这种视觉冲击比文字说明强太多。

LLM水印漏洞与训练范式:平行三列结构展示攻击-防御链路,左右对照呈现What→How的范式转变,infographic风格十足。

综述类插图:分类和路线图

生成视觉智能体策略和多智能体协作:层次化taxonomy把四大类训练策略和协作类型(Cooperation/Competition/Coopetition/Hybrid)组织得井井有条,每个分支都配了优缺点和实例。

Embodied AI框架和PANORAMA路线图:从Foundational Pillars到Core Dynamics再到应用的三层结构,以及Phase-Stage-Actions的roadmap展示,复杂系统可视化的典范。

经济学循环流模型:双向市场(商品市场+要素市场)的循环流动,四条流(Goods/Spending/Factors/Income)的方向和标注位置精准到位。


这些case充分证明了AutoFigure的跨领域适应性:教科书强调pedagogical clarity,博客强调visual appeal,综述强调结构化呈现,顶会论文强调专业完整性——每种场景都能hold住,而且都保持了高文本密度(41.2%)却不显拥挤。关键是这些图都用的统一default style,如果让用户自定义风格,versatility还能更上一层楼。

论文总结

把科研插图生成拆解成"结构推理"和"美学渲染"两个独立阶段,通过迭代优化布局、精确控制文本,可以实现既准确又美观的publication-ready图片生成

这个工作的意义远不止是个好用的工具。它真正触及到了AI科学家的一个核心瓶颈——视觉表达能力。现在的AI已经能写论文、做实验了(比如AI Scientist-v2被ICLR接收),但没法把自己的发现画成图,这就像一个只会说话不会比划的人,表达力总归打折扣。AutoFigure补上了这块拼图。

而且团队开源了代码、数据集、HuggingFace空间,真的是诚意满满。代码仓库在 https://github.com/ResearAI/AutoFigure。

最后提一句,论文里还专门讨论了伦理问题。他们要求任何用AutoFigure生成的图,都必须在caption里明确标注"由AutoFigure生成",并在论文里讨论AI的角色。这个transparency的态度值得点赞。

总之,如果你还在为画方法图发愁,真的可以试试AutoFigure。虽然Paper类别的win rate相对低一些(53%),但考虑到科研论文插图的复杂性(多层次信息、定制化设计),这个表现已经相当惊人了。更何况,Textbook类别97.5%的win rate,基本上可以说是吊打人类了。

科研可视化的自动化时代,可能真的来了。

Read more

在ESP32-S3部署mimiclaw,基于deepseek并用飞书机器人开展对话-feishu

在ESP32-S3部署mimiclaw,基于deepseek并用飞书机器人开展对话-feishu

最近mimiclaw火爆,其开发团队也在密集更新,我看3天前已经可以用“飞书机器人”对话交互了。 目前网络上能查到的部署资料相对滞后,现在将飞书机器人的部署整理如下: 1. 前提 已经安装好ESP-IDF,并支持vscode编译esp32固件。 2. api-key准备 * 注册deepseek, * 创建APIkey, * 并充值,新注册的用户余额为零,无法使用 3. 飞书机器人 我是在飞书个人版中,创建的机器人。 1. 访问飞书开放平台,单击创建企业自建应用,填写应用名称和描述,选择应用图标,单击创建。 2. 左侧导航栏单击凭证与基础信息 页面,复制App ID(格式如 cli_xxx)和App Secret。 3. 配置事件订阅。 1. 在飞书开放平台左侧导航栏单击事件与回调,在事件配置页签中单击订阅方式,选择使用 长连接 接收事件,单击保存。 2. 在事件配置页面,单击添加事件,

HACS极速版:智能家居插件下载速度提升10倍的终极解决方案

还在为Home Assistant插件下载缓慢而烦恼吗?HACS极速版正是为你量身打造的解决方案!这款专为中国用户优化的HACS版本,通过智能加速技术彻底解决了国内网络环境下插件下载的难题。本指南将带你从零开始,全面掌握HACS极速版的使用技巧,让智能家居体验更加流畅高效。 【免费下载链接】integration 项目地址: https://gitcode.com/gh_mirrors/int/integration 为什么选择HACS极速版? 常见网络痛点分析: * 官方HACS下载插件经常卡顿或失败 * 更新插件需要漫长等待 * 网络环境限制影响智能家居体验 极速版核心优势: HACS极速版利用gitmirror.com和fastgit.org等国内优质镜像服务,让插件下载速度提升数倍!无论是集成组件、前端卡片还是主题定制,都能快速完成下载安装。 快速上手:四种安装方法详解 方法一:命令行一键安装(推荐) wget -O - https://get.hacs.vip | bash - 或者使用curl命令: curl -fsSL get.hacs.

【无人机追踪】基于 0-1 整数规划实现「能耗最小」的无人机联盟选取,完成目标攻击任务的同时,让所有无人机的总能耗达到最优附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。 🍎 往期回顾关注个人主页:Matlab科研工作室  👇 关注我领取海量matlab电子书和数学建模资料  🍊个人信条:格物致知,完整Matlab代码获取及仿真咨询内容私信。 🔥 内容介绍  一、背景 在现代军事作战或特定的工业应用场景中,常常需要多架无人机协同完成目标攻击任务。然而,无人机的能源储备有限,能耗问题成为制约其任务执行效率和持续时间的关键因素。如何在众多无人机中选取合适的无人机组成联盟,使其在成功完成目标攻击任务的同时,将所有参与无人机的总能耗控制在最优水平,是一个亟待解决的重要问题。 传统的无人机任务分配方式可能没有充分考虑能耗因素,或者只是简单地基于距离、速度等单一指标进行分配,这往往无法实现总能耗的最优控制。基于 0 - 1 整数规划的方法为解决这一问题提供了一种有效的途径,它能够综合考虑多种约束条件,精确地对无人机进行筛选和组合,以达到能耗最小化的目标。 二、原理 (一)0 - 1 整数规划基础

YOLOv8 模型移植到高通机器人RB5 平台详细指南

YOLOv8 模型移植到高通机器人RB5 平台详细指南

💡前言 随着边缘端 AI 推理需求的增长,将深度学习模型部署到嵌入式平台成为许多开发者的关注焦点。本文将详细介绍如何将 Ultralytics YOLOv8 训练后的目标检测模型移植到高通机器人RB5平台设备上运行,涵盖从 PyTorch 模型到最终部署的完整流程,并提供常见问题的解决方案和性能优化建议。除了该设备外,如果你手上是一台Thundercomm EB5平台的设备,同样可以按照该步骤完成模型训练,快尝试下吧。 1. 概述 1.1 背景介绍 本文档详细介绍如何将 Ultralytics YOLOv8 训练后的目标检测模型移植到高通机器人 RB5平台(Robotics RB5)上运行。RB5 平台是一款强大的机器人开发平台,搭载 Qualcomm QRB5165 处理器,支持 AI 加速和 5G 连接,非常适合边缘端 AI 推理任务。 1.2 模型移植流程 模型移植的完整流程如下: 1.