将智能代理嵌入任意网页界面，实现精准操作与多步任务执行。
EmbeWebAgent: Embedding Web Agents into Any Customized UI
- 通过轻量级前端钩子与后端工作流，直接接入现有网页界面。
- 支持从按钮点击到复杂流程的混合粒度操作，实现在真实页面上的稳定多步行为。
- 适用于企业级系统，无需重构界面即可快速集成智能自动化能力。
大多数网页代理在人类交互层运行，仅观察截图或原始DOM树，缺乏应用级访问权限，限制了其鲁棒性和动作表达能力。在企业环境中，前后端控制权均可用。本文提出EmbeWebAgent框架，通过轻量级前端钩子（精选ARIA属性和基于URL的观测，以及通过WebSocket暴露的每页函数注册表）将代理直接嵌入现有用户界面，并结合可复用的后端工作流进行推理与执行动作。该框架与技术栈无关（如React或Angular），支持从GUI原语到高层复合动作的混合粒度操作，通过MCP工具协调导航、操作与领域特定分析。演示显示改造成本极低，且能在真实网页环境中实现稳健的多步行为。直播演示：https://youtu.be/Cy06Ljee1JQ
原文摘要 · Abstract (English)
Most web agents operate at the human interface level, observing screenshots or raw DOM trees without application-level access, which limits robustness and action expressiveness. In enterprise settings, however, explicit control of both the frontend and backend is available. We present EmbeWebAgent, a framework for embedding agents directly into existing UIs using lightweight frontend hooks (curated ARIA and URL-based observations, and a per-page function registry exposed via a WebSocket) and a reusable backend workflow that performs reasoning and takes actions. EmbeWebAgent is stack-agnostic (e.g., React or Angular), supports mixed-granularity actions ranging from GUI primitives to higher-level composites, and orchestrates navigation, manipulation, and domain-specific analytics via MCP tools. Our demo shows minimal retrofitting effort and robust multi-step behaviors grounded in a live UI setting. Live Demo: https://youtu.be/Cy06Ljee1JQ
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。