1.5k stars!阿里开源 PageAgent:让 AI 直接“住进“你的网页,用自然语言操控一切!

1.5k stars!阿里开源 PageAgent:让 AI 直接“住进“你的网页,用自然语言操控一切!

阿里开源 PageAgent:让 AI 直接"住进"你的网页,用自然语言操控一切

不需要浏览器插件,不需要 Python,不需要截图——一行 JS,让你的网页秒变 AI 智能体。

一、先说痛点:Web 自动化为什么这么难?

如果你用过 Selenium、Playwright,或者最近流行的 browser-use,你一定遇到过这些头疼的问题:

  • 环境太重:得装 Python、headless 浏览器、各种依赖,部署复杂,维护成本高;
  • 依赖截图 + OCR:很多方案靠多模态模型"看图操作",慢、贵、还不准;
  • 权限门槛高:要控制浏览器,往往需要特殊权限甚至操作系统级别的访问;
  • 对现有产品改造成本大:想给自己的 SaaS 产品加个 AI Copilot?对不起,可能要重写后端。

这些问题的根源在于:传统 Web 自动化思路是"从外面控制浏览器",就像隔着玻璃操作键盘,自然别扭。

阿里巴巴开源的 PageAgent,换了一个思路:让 AI Agent 直接住进网页里面


二、PageAgent 是什么?

PageAgent(GitHub: alibaba/page-agent)是一个纯前端的 JavaScript GUI 智能体框架

它的核心理念用一句话概括:

The GUI Agent Living in Your Webpage(住在你网页里的 GUI 智能体)

它能做什么?

用自然语言控制网页界面。你告诉它"点击登录按钮"、“把表单里的公司名改成阿里巴巴”、“帮我找到最近的订单并导出”,它就真的去做。

它有多轻量?

  • ✅ 纯 JavaScript,直接嵌入页面
  • ✅ 不需要浏览器扩展(有可选插件用于多 Tab 场景)
  • ✅ 不需要 Python / headless 浏览器
  • ✅ 不需要截图,不需要 OCR,不需要多模态大模型
  • ✅ 不需要特殊权限

它通过直接读取和操作页面 DOM 来理解和控制界面,把清理后的 DOM 结构发给 LLM,由 LLM 决策操作步骤,再由 PageAgent 执行。整个过程全在浏览器里完成。

典型应用场景:

  • SaaS AI Copilot:几行代码给你的产品加上 AI 副驾,不用改后端
  • 智能表单填写:把原本要点 20 下的操作,变成一句话
  • 无障碍访问:让任何 Web 应用都能通过自然语言、语音操控

ERP / CRM 系统提效:这类系统交互复杂,PageAgent 特别适合

在这里插入图片描述

三、架构设计:它是怎么工作的?

PageAgent 是一个组织清晰的 monorepo,核心模块分工明确:

packages/ ├── core/ # 核心 Agent 逻辑(无 UI) ├── page-agent/ # 带内置 UI 面板的主入口 ├── page-controller/# DOM 操作层(独立于 LLM) ├── ui/ # 面板 UI(与 Agent 解耦) ├── llms/ # LLM 客户端适配层 └── extension/ # Chrome 扩展(多 Tab 支持,WIP) 

工作流程大致如下:

  1. 用户输入自然语言指令(如"帮我搜索最新订单")
  2. PageAgent 清理当前页面 DOM,提取语义化结构
  3. 将简化的 DOM + 指令发送给 LLM(支持 Qwen、OpenAI 等)
  4. LLM 返回操作步骤(点击哪个元素、输入什么内容)
  5. page-controller 执行具体 DOM 操作
  6. 循环直到任务完成

关键亮点:不依赖截图

绝大多数竞品(包括 browser-use 的原始方案)要截图发给视觉模型识别。PageAgent 直接用 DOM 结构,这意味着:

  • 速度更快(无需图像处理)
  • 成本更低(无需多模态模型)
  • 准确性更高(结构化信息比图像识别可靠)

四、怎么用?三种接入方式

方式一:最快体验——Demo LLM

打开官网 alibaba.github.io/page-agent,使用项目提供的免费 Demo API(仅供技术评估,有频率限制),直接在页面上输入指令体验。

方式二:编程接入(BYOK,自带密钥)

npminstall page-agent 
import{ PageAgent }from'page-agent'const agent =newPageAgent({model:'qwen3.5-plus',baseURL:'https://dashscope.aliyuncs.com/compatible-mode/v1',apiKey:'YOUR_API_KEY',language:'zh-CN',})// 用自然语言执行操作await agent.execute('点击登录按钮')await agent.execute('把用户名填写为 admin')await agent.execute('找到最近7天的订单,导出为 Excel')

支持任何兼容 OpenAI 接口的 LLM 服务,包括阿里云百炼(Qwen)、OpenAI、Anthropic 等。

方式三:多 Tab 场景——Chrome 扩展

对于需要跨多个标签页操作的复杂任务,可以安装配套的 Chrome 扩展(目前仍在开发中,标注为 WIP)。配置好 API Key 后,Agent 的操作范围可以从单页面扩展到整个浏览器。

隐私与安全

PageAgent 采用 BYOK(Bring Your Own Key) 架构:

  • 数据只在你的浏览器和你配置的 LLM 服务商之间流动
  • 项目本身没有任何后端,不收集用户数据
  • API Key 仅存储在浏览器本地(localStorage
  • 所有配置不会同步到外部服务器

五、与其他方案对比

特性PageAgentbrowser-usePlaywright/Selenium
运行环境纯浏览器 JSPython + 浏览器Python/Node + 无头浏览器
是否需要截图❌ 不需要✅ 需要❌ 不需要
多模态模型❌ 不需要✅ 需要❌ 不需要
嵌入现有产品✅ 极易❌ 困难❌ 困难
适合场景前端增强/Copilot服务端自动化测试/服务端自动化

值得一提的是,PageAgent 在 README 中坦诚地致谢了 browser-use 项目——DOM 处理组件和部分 Prompt 设计借鉴自该项目,并遵循 MIT 协议开源。开放的态度让人好感度倍增。


六、总结:它适合谁?

PageAgent 是一个思路清晰、定位精准的开源项目,核心价值在于"轻量嵌入"

适合这些人用:

  • 🎯 想给自家 SaaS / 后台系统快速加上 AI Copilot 的前端开发者
  • 🎯 做 RPA 或自动化工具的工程师,想降低环境依赖
  • 🎯 希望让老旧内部系统(ERP/CRM)支持自然语言交互的团队
  • 🎯 对 Web Agent 技术感兴趣、想研究客户端 Agent 方案的研究者

需要注意的是:

  • 目前 Chrome 扩展仍在开发中(WIP)
  • 跨域、登录态等复杂场景可能需要额外处理
  • Demo API 仅供评估,生产使用需自备 LLM API Key

AI 与 Web 的结合,正在从"服务端控制浏览器"向"Agent 住进页面"演进。PageAgent 是这个方向上一个值得关注的实践。

GitHub 地址:https://github.com/alibaba/page-agent
官网文档:https://alibaba.github.io/page-agent/

如果觉得有帮助,欢迎点个在看 👇

Read more

OpenDroneMap (ODM) 无人机影像三维模型重建安装及使用快速上手

OpenDroneMap (ODM) 无人机影像三维模型重建安装及使用快速上手

1 文档概述 本文档是指导用户从零开始,使用 OpenDroneMap 对无人机采集的影像数据进行处理,生成三维点云、数字表面模型(DSM)、正射影像图(Orthomosaic)等成果。 本文档的预期读者为拥有无人机航拍影像(JPG/PNG格式)并希望进行三维建模的用户。 2.1 系统运行环境要求 - 操作系统:Windows 10/11, macOS, 或 Linux (推荐 Ubuntu)。 - CPU:多核心处理器(4核以上推荐,8核或更多更佳)(处理200张以上影像建议16GB+)。 - 内存 (RAM):至少 16GB,处理大面积区域建议 32GB 或以上。 - 硬盘空间:预留充足的存储空间。原始影像、中间文件和最终成果会占用大量空间。建议准备 影像大小的10-20倍

从零开始:Xilinx FPGA实现RISC-V五级流水线CPU手把手教程

从一块FPGA开始,亲手造一颗CPU:RISC-V五级流水线实战全记录 你还记得第一次点亮LED时的兴奋吗?那种“我真正控制了硬件”的感觉,让人上瘾。但如果你能 自己设计一颗处理器 ,让它跑起第一条指令——那才是数字世界的终极浪漫。 今天,我们就来做这件“疯狂”的事:在一块Xilinx FPGA上,用Verilog从零实现一个 完整的RISC-V五级流水线CPU 。不是调用IP核,不是简化版demo,而是包含取指、译码、执行、访存、写回五大阶段,并解决真实数据冒险与控制冒险的可运行核心。 这不仅是一次教学实验,更是一场对计算机本质的深度探索。 为什么是 RISC-V + FPGA? 别误会,我们不是为了赶潮流才选RISC-V。恰恰相反,它是目前最适合学习CPU设计的指令集。 * 开放免费 :没有授权费,文档齐全,连寄存器编码都写得明明白白。 * 简洁清晰 :RV32I只有40多条指令,没有x86那样层层嵌套的历史包袱。 * 模块化扩展 :基础整数指令够用,后续想加浮点、压缩指令、向量扩展,都可以一步步来。

无需翻墙!国内直连的3款AI绘画工具保姆级教程(含Stable Diffusion替代方案)

无需跨域,触手可及:面向国内创作者的AI绘画工具深度实践指南 对于许多创意工作者和数字艺术爱好者而言,AI绘画工具的出现无疑打开了一扇新世界的大门。然而,当热情遭遇网络环境的现实壁垒,那份创作的冲动往往被复杂的配置和连接问题所冷却。我们理解,真正的灵感不应被技术门槛所束缚。因此,本文将聚焦于那些能够在国内网络环境下直接、稳定、高效运行的AI绘画解决方案。无论你是插画师、设计师、社交媒体内容创作者,还是纯粹对AI艺术充满好奇的探索者,这里没有晦涩的术语和繁琐的翻越步骤,只有从零开始、一步到位的实操指南。我们将深入探讨不同工具的特性、本地部署的优劣、云端服务的便捷,以及如何将这些工具无缝融入你的实际工作流,释放被压抑的创造力。 1. 核心工具选择:云端直连与本地部署的权衡 在选择AI绘画工具时,我们首先需要明确两个核心路径:云端服务和本地部署。这两条路径在易用性、性能、隐私和成本上各有千秋,理解它们的区别是做出明智选择的第一步。 云端服务 通常以网页应用或轻量级客户端的形式提供。其最大优势在于 “开箱即用” 。你无需关心复杂的模型下载、显卡驱动或显存大小,只需一个浏览器,注册账号

Coze(扣子)全解析:100个落地用途+发布使用指南,小白也能玩转低代码AI智能体

Coze(扣子)全解析:100个落地用途+发布使用指南,小白也能玩转低代码AI智能体

摘要:Coze(扣子)作为字节跳动推出的低代码AI智能体平台,凭借零代码/低代码拖拽式操作、丰富的插件生态和多平台发布能力,成为小白和职场人高效落地AI应用的首选工具。本文全面汇总Coze可实现的100个实用场景,覆盖个人、学习、办公、运营等7大领域,同时详细拆解其生成形态、发布流程和使用方法,帮你快速上手,把AI能力转化为实际生产力,无需专业开发经验也能轻松搭建专属AI应用。 前言 在AI普及的当下,很多人想借助AI提升效率、解决实际问题,但苦于没有编程基础,无法开发专属AI工具。而Coze(扣子)的出现,彻底打破了这一壁垒——它是字节跳动自主研发的低代码AI智能体平台,无需复杂编码,通过拖拽组件、配置插件、编写简单提示词,就能快速搭建聊天Bot、工作流、知识库等AI应用,并且支持多渠道发布,让你的AI工具随时随地可用。 本文将分为两大核心部分:第一部分汇总Coze可落地的100个实用场景,帮你打开思路,找到适配自己需求的用法;第二部分详细讲解Coze生成的应用形态、发布流程和使用技巧,让你搭建完成后快速落地使用,真正实现“零代码上手,高效用AI”。 第一部分:Coze