华为与 UCL 联合推出 Agent K v1.0 自主数据科学智能体
继 OpenAI o1 成为首个达到 Kaggle 特级大师的人工智能（AI）模型后，另一个 Kaggle 大师级 AI 也诞生了。
根据 Kaggle 的晋级系统，由华为诺亚方舟实验室和伦敦大学学院团队联合推出的端到端自主数据科学智能体（agent）——Agent K v1.0，已经能够获得 6 枚金牌、3 枚银牌和 7 枚铜牌。
论文链接：https://arxiv.org/abs/2411.03562
据介绍，Agent K v1.0 具备动态、多步骤处理复杂问题的能力，通过动态管理记忆并从经验中持续学习，能够完全自动化数据科学流程，并在不依赖微调的情况下，通过环境反馈不断优化决策，实现对各种数据科学任务的自动化、优化和泛化。
Agent K v1.0：一个自主数据科学智能体
当前，虽然 LLM 在自然语言交互方面展现优秀性能，但如何使 LLM 能够基于智能体处理具有序列或并行任务模块的系统性数据科学任务，构建能对各种数据科学任务进行自动化、优化和泛化的 LLM 智能体，从而实现动态、多步骤的问题解决仍然是个挑战。
为解决这个问题，研究团队提出了一个灵活的基于经验学习推理的替代框架，借鉴了强化学习中的马尔可夫决策过程（MDP）概念，不过其独特性在于引入了结构化推理和长期记忆机制。这一创新举措避免了传统思维链或思维图方法对反向传播和微调的依赖，使得智能体能够在不更改 LLM 核心参数的情况下，实现动态学习与适应。
图｜结构化推理的示意图与标准的思维链（CoT）方法形成对比。
在 Agent K v1.0 的框架体系中，智能体具备三种类型的动作，分别为长期记忆动作、内部动作以及外部动作。长期记忆动作用于对外部数据库的内容进行管理，将过往经验转化为指导当下决策的珍贵信息；内部动作则旨在更新工作记忆，塑造智能体的推理过程；外部动作直接与环境进行交互，执行任务并获取奖励。
智能体通过与环境的互动，收集状态、工作记忆以及外部数据库的轨迹信息。随后，利用 LLM 的内部策略来更新工作记忆和长期记忆。这些策略能够依据环境反馈，动态调整智能体的推理过程，使其可以根据具体情况做出最优决策，从而最大限度地实现回报。
总体而言，Agent K v1.0 的学习框架凭借结构化推理和长期记忆机制，达成了 LLM 在复杂数据科学任务中的高效学习与适应，为构建自动化、高效且可扩展的数据科学智能体开辟了崭新的途径。
此外，Agent K v1.0 具有全新的自动化数据科学任务处理方式。
图｜Agent K v1.0 自动设计、编码和执行的整体数据科学流程。
首先，在数据科学任务设置的自动化阶段，Agent K v1.0 能够将数据科学任务精细分解为多个阶段，如数据抓取、数据摘要、模态检测、数据预处理以及特征工程等。
同时，利用单元测试对每个阶段的正确性进行严格验证。而当单元测试失败时，Agent K v1.0 会利用 LLM 生成解释错误原因的思考，并依据这些思考重新执行之前步骤，直至找到并修复错误。
图｜自动设置阶段的主要步骤。
之后，在数据科学任务解决的优化阶段，Agent K v1.0 根据任务所涉及的模态类型，选择不同的工具和方法生成解决方案。对于表格数据任务，它使用 AutoML 工具自动生成预测；对于计算机视觉、自然语言处理和跨模态任务，则采用深度神经网络模型。此外，它还集成了多种工具，如 HEBO 进行超参数优化，以及利用 HuggingFace 的 Torchvision 和 Torchtext 库处理不同模态的数据。
不仅如此，Agent K v1.0 在多任务和持续学习方面也表现出色。它可以处理多个不同领域的数据科学任务，通过共享长期记忆实现知识迁移。同时，它会根据之前的经验选择下一个任务，构建难度逐渐增加的课程，以实现持续学习和知识积累。
图｜Agent K v1.0 作为一个多模态、持续学习的数据科学智能体，能够在多轮操作中进行任务。
为了客观评估 Agent K v1.0 的性能，研究团队构建了一个基于 Kaggle 竞赛的竞争性数据科学基准。该基准涵盖了 Kaggle 平台上多达 65 个多样化的数据科学任务，涵盖表格数据、计算机视觉、自然语言处理以及跨模态任务等多个领域。
此外，该基准还评估了 Agent K v1.0 自动设置数据科学任务的能力，涵盖数据抓取、数据预处理、特征工程和模型训练等步骤。并通过单元测试来验证每个阶段的正确性，并评估智能体在不同模态和任务类型上的自动化成功率。
图｜基准测试中 Kaggle 任务的分布饼图。
在性能评估方面，该基准使用 Kaggle 平台的公开和私有分数来评估 Agent K v1.0 的性能。根据 Kaggle 的排名系统，将智能体的表现与其他 Kaggle 用户进行比较，并计算其 Elo-MMR 积分，以评估其在 Kaggle 用户群体中的相对位置。
为确保公平比较，该基准考虑了竞赛规模，不同竞赛的参与者和提交数量可能不同，因此需使用 Elo-MMR 积分来进行比较；以及竞赛类型，社区竞赛、练习场竞赛和特色竞赛的难度和竞争程度不同，因此需使用 Kaggle 的排名系统来进行评估。
图｜该表格描述了 Kaggle 的晋升系统，遵循 Kaggle 的指南和风格。
