【AIGC】《Generative Agents:Interactive Simulacra of Human Behavior》

【AIGC】《Generative Agents:Interactive Simulacra of Human Behavior》

让 AI 村民组成虚拟村庄会发生什么事?

文章目录

Generative Agents

Park J S, O’Brien J, Cai C J, et al. Generative agents: Interactive simulacra of human behavior[C]//Proceedings of the 36th annual acm symposium on user interface software and technology. 2023: 1-22.

这篇论文由斯坦福大学和 Google 的研究人员(如 Joon Sung Park, Percy Liang 等)共同发表,也就是大名鼎鼎的 “AI 小镇(Smallville)” 论文。鉴于你之前关注“能使用工具的 AI”,这篇文章正是“自主智能体(Autonomous Agents)”领域的开山之作。

核心贡献:提出了一个名为 “生成式智能体架构(Generative Agent Architecture)” 的系统,包含三个关键组件:

  • 记忆流 (Memory Stream):一个长期内存数据库,用自然语言记录智能体的所有经历(观察)。通过相关性、近时性、重要性三个维度进行检索,决定智能体当前该想起什么。
  • 反思 (Reflection):智能体会定期停下来,对记忆流中的碎片化信息进行归纳总结,提取出高层级的观点(例如:某人很友好,或者我下午需要去买菜),这让智能体能够形成更深刻的判断。
  • 规划 (Planning):智能体会制定长、中、短期计划,并根据环境变化(观察到新事物)随时调整计划(Re-planning),保证行为的逻辑连贯性。

点击对应的 NPC,可以看到更多细节

每个角色都有人设

最经典的案例情人节派对,至今还被反复拿出来讨论。
他们只给其中一个叫Isabella的AI下了一个种子指令——“你想在情人节办个派对”。
剩下的事情,人类完全没有插手,然后整个小镇就自发运转起来了。
Isabella开始四处发邀请函,接到邀请的AI们会根据自己的性格决定去不去,甚至有人在派对前一天就开始紧张地讨论该穿什么、要不要带点礼物。
甚至有人帮忙装饰咖啡馆,有人提前规划路线,最后5个AI准时到场,派对办得热火朝天。
整个过程虽然丝滑,却没有一条硬编码规则,全是这群电子小人自己“想”出来的。

Daily requirement 超长

NPC 觉醒,喜欢上了玩家操控的女角色,会发生什么事情呢?

行为说明应该是 ChatGPT 生成的

行为说明转成行为应该基于 program 规则

感知-思考-行动循环:

  • 感知:Agent 观察周围环境并存入记忆流。
  • 检索:根据当前场景检索最相关的记忆。
  • 行动:通过 Prompting 让 LLM 生成下一步动作(对话、移动、操作物体)。

固定的太枯燥了

可以让 Agent 根据外界的信息改变自己的行为

重要性打分,

模型内部的结构,有 plan,有 observation,还有 reflection

因为 no evidence

发现了相互暗恋的情况(Maria 和 Klaus),不排除是上帝把 reflection 塞进来了,因为没有看到 evidence

John 是 Eddy 的爸爸,John 看见 Eddy 后,改变了自己的 plan,开始与 Eddy 去对话

伊莎贝拉计划举办一场情人节派对。她传播了这个信息,在模拟结束时,12 个角色已经知道了这件事。其中 7 个人「犹豫不决」——3 个人已有其他计划,4 个人没有表露想法,这和人类的相处一样。

demo 比较慢,李老师没有看到最后,不知道 Maria 和 Klaus 的对话内容以及情人节活动现场发生的事情

自己注释了一个 happy ending,哈哈哈

实验最令人惊叹的是观察到了涌现出的社会行为 (Emergent Social Behaviors):

  • 信息传播:一个 Agent 决定举办情人节派对,消息通过社交互动在小镇里传开,大家纷纷调整计划参加。
  • 关系演变:智能体之间会建立新的友谊,并根据过去的互动改变对彼此的态度。
  • 协作:多个智能体协调时间,共同出现在同一地点。

论文证明了将 LLM 与架构化的记忆机制结合,可以创造出极具真实感的“数字人类”。

证明了 Agent 的可信度不仅取决于模型本身,更取决于其对过去经历的组织和反思能力

资讯

  1. 「斯坦福AI小镇」创业即获投1亿美元!李飞飞卡帕西都投了(2026-02-14)
    • 当初那个“智能体早期真神”,让25个智能体自己聊天、传八卦、谈恋爱的AI小镇Smallville团队也官宣创业了。
    • 公司名叫Simile,直接拿下了Index Ventures领投的1亿美元融资,连卡帕西、李飞飞也跟了。
  2. 爆火论文打造《西部世界》雏形:25个AI智能体,在虚拟小镇自由成长(2023-04-11)
    • Generative Agents 的架构中心是记忆流—— 一个全面记录智能体经验的数据库。智能体会从记忆流中检索相关记录,以规划智能体的动作行为并对环境做出适当反应,并且每次行为都会被记录以递归合成更高级别的行为指导。Generative Agents 架构中所有的内容都被记录下来并以自然语言描述的形式来进行推理,从而使智能体能够利用大型语言模型的推理功能。
    • 只有当智能体对最近事件的重要性分数总和超过某个阈值,智能体才会开始反思。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考

  • https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
  • https://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from=333.1387.homepage.video_card.click&vd_source=8e91f8e604278558ec015e749d1a3719
  • https://www.youtube.com/watch?v=G44Lkj7XDsA
  • Demo:https://reverie.herokuapp.com/arXiv_Demo/

Read more

YOLOv8n机器人场景目标检测实战|第一周工作笔记1

核心完成项:基于Conda搭建Ultralytics8.0+PyTorch2.1专属环境,完成COCO2017机器人场景子集筛选(8000张,7000训+1000验),跑通YOLOv8n基础训练(epoch=50),小障碍物mAP≥65%,模型可正常输出推理结果,满足周验收全部目标。 环境说明:全程使用Conda进行包管理与环境隔离,无pip命令使用,规避版本兼容问题;模型选用YOLOv8n(轻量化版本,适配机器人端算力限制),替代原计划YOLOv9n,核心实操逻辑一致。 一、本周核心目标与执行思路 1. 核心目标 1. 掌握YOLO系列核心创新与轻量化模型适配逻辑,聚焦机器人室内小场景(室内小障碍物/桌椅/行人/台阶)检测需求; 2. 搭建稳定可复现的Ultralytics+PyTorch训练环境,规避版本冲突; 3. 筛选并整理符合YOLO格式的机器人场景自定义数据集,完成基础标注与训练集/验证集划分; 4. 跑通YOLOv8n基础训练流程,验证数据集与模型兼容性,获取基础精度、参数量、

【具身智能】具身机器人VLA算法入门及实战(一):具身智能系统及VLA

【具身智能】具身机器人VLA算法入门及实战(一):具身智能系统及VLA

具身机器人VLA算法入门及实战(一):具身智能系统及VLA * 一、常见具身智能系统 * 二、具身智能数据获取方式 * 三、具身智能-感知系统 * 四、具身智能学习方式 * 五、工业机器人及应用需求 * 六、VLA架构及开源项目 * 6.1 VLA架构 * 6.2 开源项目 * 七、机器人操作案例 一、常见具身智能系统 二、具身智能数据获取方式 数据获取平台: Isaac Sim, Isaac Gym, Mujoco, 桃园 2.0 数据增强平台: RoboVerse, Genie Studio, DexMimicGen 三、具身智能-感知系统 四、具身智能学习方式 五、工业机器人及应用需求 六、VLA架构及开源项目 6.

FPGA Debug:PCIE XDMA没有Link up(驱动检测不到xilinx PCIE设备)使用LTSSM定位问题

FPGA Debug:PCIE XDMA没有Link up(驱动检测不到xilinx PCIE设备)使用LTSSM定位问题

问题现象: 与驱动联调:驱动无法扫描到Xilinx的PCIE设备 通过ila抓取pcie_link_up信号:发现link up一直为低 问题分析:         出现这种情况,在FPGA中搭建测试环境,使用XDMA+BRAM的形式,减少其它模块的影响,框架如下: 1 检查PCIE的时钟 时钟,必须使用原理图上的GT Ref 差分时钟,通过IBUFDSGTE转为单端时钟 2 检查PCIE 复位 复位:PCIE复位信号有要求--上电后,PCIE_RESTN信号需在电源稳定后延迟一段时间再释放,通常是100ms以上 而这100ms的时间,系统主要做以下的事情: * 电源稳定时间 * 参考时钟稳定时间 * PCIe IP核的复位和初始化时间 * 链路训练时间 // 典型的100ms时间分配: 0-10ms   : 电源稳定 (Power Stable) 10-20ms  : 参考时钟稳定 (Refclk Stable)   20-30ms  : 复位释放和PLL锁定 (Reset Release

阿里云的moltbot机器人使用钉钉的Stream流式接入

注意 1. 这个不需要工作流 2. 这个不需要开放外网 具体方法: 1.check代码https://github.com/DingTalk-Real-AI/dingtalk-moltbot-connector 2.package.json增加如下代码 "moltbot": { "extensions": ["./plugin.ts"], "channels": ["dingtalk-connector"], "installDependencies": true } 3.安装插件 moltbot plugins install dingtalk-moltbot-connector 4.增加钉钉配置~/.moltbot/moltbot.json;如果有了进行提花 { "channels"