返回模型列表

AGenUI – 高德联合阿里开源的原生 A2UI 框架

AI科技编辑部
RSS 订阅
AGenUI – 高德联合阿里开源的原生 A2UI 框架 官方截图
(图片来源官方截图)

导读摘要:

AGenUI 是高德地图联合阿里千问 C 端应用团队推出的行业首个覆盖 iOS、Android、HarmonyOS 三端的端云一体原生 A2UI 开源框架。该框架基于 Google A2UI 开放协议构建,旨在解决大模型输出无法直接转化为原生交互界面的行业痛点。通过补齐端侧原生渲染能力,AGenUI 让 AI Agent 的输出直接转化为可交互的原生卡片,无需为不同平台单独编写 UI 代码,从而推动 AI 应用从文本交互迈向生成式 UI 交互的新阶段。其核心价值在于彻底消除跨平台 UI 重复开发成本,同时保证多端体验一致性和高性能原生交互。

1. AGenUI是什么

AGenUI 是高德地图联合阿里千问 C 端应用团队推出的行业首个覆盖 iOS、Android、HarmonyOS 三端的端云一体原生 A2UI 开源框架。该框架基于 Google A2UI 开放协议构建,旨在解决大模型输出无法直接转化为原生交互界面的行业痛点。通过补齐端侧原生渲染能力,AGenUI 让 AI Agent 的输出直接转化为可交互的原生卡片,无需为不同平台单独编写 UI 代码,从而推动 AI 应用从文本交互迈向生成式 UI 交互的新阶段。其核心价值在于彻底消除跨平台 UI 重复开发成本,同时保证多端体验一致性和高性能原生交互。

agenui-a2ui 官网截图
(图片来源官方截图)

技术定位与领域: AGenUI 属于 AI Agent 与移动端原生 UI 渲染交叉领域,具体定位于端云一体的生成式 UI 框架。它专为 AI Agent 场景设计,将大模型的文本或结构化输出直接映射为跨平台原生界面组件,填补了 Agent 输出与端侧原生渲染之间的技术鸿沟。与传统的 WebView 或自绘引擎方案不同,AGenUI 直接调用各平台原生渲染管线,实现了极致的首帧渲染性能和交互流畅度。

研发背景: 该框架由高德地图联合阿里千问 C 端应用团队共同研发。高德在地图导航、本地生活等复杂场景中积累了丰富的 Agent 交互经验,而千问团队在大语言模型应用方面有深厚技术积累。双方合作旨在解决 AI Agent 在移动端落地时面临的“输出即文本”局限,推动 Agent 从对话式交互向生成式 UI 交互演进。研发动机源于实际业务需求——在导航、出行、生活服务等场景中,Agent 需要实时生成包含地图、列表、图表等复杂组件的交互界面,而非简单的文本回复。

核心价值: AGenUI 解决了 AI Agent 在移动端落地的三大核心痛点:跨平台 UI 重复开发、端侧原生渲染性能不足、Agent 输出与 UI 组件的实时映射。通过一套代码覆盖三端原生渲染,AGenUI 将跨平台 UI 开发成本降低 70% 以上;通过 Streaming-first 架构实现组件边生成边挂载,用户无需等待完整响应即可开始交互;通过 Design Token 设计系统实现语义到品牌的自动映射,确保 AI 生成的 UI 直接对齐产品视觉标准。

技术特点: AGenUI 的核心技术优势体现在端云一体架构、Streaming-first 流式渲染和原生跨平台内核三大方面。云侧通过 Agent Skill 生成符合 A2UI 规范的 JSON 数据,降低大模型的 Token 消耗和输出不确定性;端侧依托跨平台 C++ Core 统一处理协议解析、状态管理与布局计算,直接调用各平台原生渲染管线,非 WebView 或自绘引擎中转。这套架构在保证多端体验一致性的同时,实现了 120fps 的流畅动画体验和极致的首帧渲染性能。

2. 主要功能

  • 三端原生渲染: AGenUI 提供统一的跨平台渲染能力,一套代码同时运行在 iOS、Android、HarmonyOS 三端,端侧直接渲染为原生组件。该功能基于 C++ Core 跨平台底座实现,直接调用各平台原生渲染管线,避免了 WebView 方案常见的性能损耗和体验不一致问题。在导航、地图等高性能要求场景中,首帧渲染时间相比 WebView 方案降低 60% 以上。

  • A2UI 协议完整实现: 基于 Google A2UI 开放协议,AGenUI 定义了模型描述界面的标准 JSON 格式,并补齐了端侧原生执行能力。协议层负责将大模型的结构化输出解析为组件树,同时支持事件绑定、状态管理和数据流更新,使 Agent 生成的 UI 具备完整的交互能力。这一实现确保了 Agent 输出与端侧渲染之间的双向数据流畅通。

  • 丰富组件生态: 框架内置 22 个基础组件与 45 项 CSS 属性,涵盖 Chart、RichText、Lottie、PageViewer、音视频播放器等复杂组件。组件库针对 Agent 场景优化,支持动态组合与嵌套,能够满足从简单文本展示到复杂数据可视化的多样化需求。例如,在出行场景中,Agent 可以即时生成包含地图、路线列表和交互按钮的复合卡片。

  • 流式实时渲染: 采用 Streaming-first 架构,组件边生成边挂载呈现,用户无需等待完整响应即可开始交互。该功能配合最小化节点差分更新与独立线程异步渲染机制,确保高频增量更新不会阻塞主线程。在实际测试中,复杂场景下的动画流畅度可达 120fps,远超市面上基于 WebView 的方案。

  • Theme 设计系统: 通过 Design Token 实现语义描述到品牌样式的自动映射,支持深色/浅色模式。设计系统定义了颜色、字体、间距、圆角等视觉属性的语义化层级,Agent 生成的 UI 可直接对齐产品视觉标准。开发者只需配置品牌 Token,即可确保所有 AI 生成的界面保持视觉一致性。

  • 组件三维定制: 支持组件级、功能调用级、主题级的灵活定制与覆写。开发者可以在不影响底层架构的前提下,对特定组件的样式、行为或交互逻辑进行微调。例如,地图组件可以定制标记点样式、动画效果和点击响应,而不会影响其他组件的默认行为。这种分层定制能力使得 AGenUI 既能满足通用场景,又能适应特定业务需求。

3. 如何使用

  1. 环境要求与前置条件: 使用 AGenUI 需要确保开发环境满足以下条件:iOS 开发需 Xcode 14.0 及以上版本,目标系统为 iOS 14.0 及以上;Android 开发需 Android Studio 2022.1 及以上版本,目标 API 级别为 26(Android 8.0)及以上;HarmonyOS 开发需 DevEco Studio 3.1 及以上版本,目标系统为 HarmonyOS 4.0 及以上。此外,项目需集成 C++ 编译工具链以支持跨平台核心库的编译。

  2. SDK 集成: 在项目根目录下通过包管理工具添加 AGenUI 依赖。对于 iOS 项目,在 Podfile 中添加 pod 'AGenUI' 并执行 pod install;对于 Android 项目,在 build.gradle 中添加 implementation 'com.amap.agenui:core:1.0.0';对于 HarmonyOS 项目,通过 ohpm install @amap/agenui 安装。集成完成后,在应用入口处调用初始化方法,传入必要的配置参数,如 AppKey、环境标识等。

  3. 创建 Agent Skill 并生成 A2UI 数据: 在云侧定义 Agent Skill,将大模型的输出映射为符合 A2UI 规范的 JSON 数据结构。Skill 负责指定组件类型、布局参数、数据源和事件回调。例如,一个导航卡片 Skill 会生成包含地图容器、路线列表和操作按钮的 JSON 树。开发者可以使用框架提供的 Schema 校验工具确保生成的 JSON 符合协议规范。

  4. 端侧渲染与事件处理: 在端侧代码中创建 AGenUI 渲染容器,将云侧生成的 A2UI JSON 数据传入。渲染容器会自动解析 JSON 并挂载原生组件,同时绑定事件处理器。开发者只需实现事件回调函数,处理用户交互(如按钮点击、列表滑动、地图标记点击等)。关键配置包括设置容器尺寸、启用流式渲染模式、配置 Design Token 主题参数等。

  5. 最佳实践与注意事项: 建议在首次渲染前预加载核心组件库以缩短首帧时间;对于高频更新场景,启用差分更新模式以减少不必要的全量重绘;在 HarmonyOS 平台需注意原生组件兼容性,部分高级组件可能需要额外权限声明。此外,生产环境中建议对 A2UI JSON 数据进行安全校验,防止恶意构造的 JSON 导致渲染异常。

  6. 联调与调试: 先用 Schema 校验工具检查云侧 JSON,再在真机查看首帧时间和事件回调。若卡片空白,优先核对组件名是否在内置 22 个组件或已注册的自定义组件列表中。

  7. 主题与品牌: 在初始化时注入 Design Token(颜色、字号、间距、圆角),确认深色/浅色模式切换后卡片仍对齐品牌规范,避免 Agent 输出一套、端上显示另一套。

  8. 发布前检查: 分别在 iOS、Android、HarmonyOS 跑一遍核心路径(地图卡片、列表点击、表单提交)。对云侧 JSON 做签名校验,拒绝不符合协议的载荷后再交给渲染容器。

4. 优缺点分析

优点
三端一套代码: 覆盖 iOS、Android、HarmonyOS 三端原生渲染,彻底消除跨平台 UI 重复开发成本,开发效率提升显著。
原生渲染性能卓越: 直接调用各平台原生渲染管线,首帧渲染时间大幅降低,动画流畅度达 120fps,体验远超 WebView 方案。
流式实时呈现: Streaming-first 架构支持组件边生成边挂载,用户无需等待完整响应即可交互,显著提升用户体验。
差分异步更新: 最小化节点差分更新配合独立线程异步渲染,高频增量更新不阻塞主线程,复杂场景下依然流畅。
内置设计体系: Design Token 实现语义到品牌的自动映射,Agent 生成的 UI 可直接对齐产品视觉标准,并支持深色/浅色模式。

5. 同类工具对比

对比维度 AGenUI AG-UI (CopilotKit)
产品定位 面向 AI Agent 的端云一体原生 UI 生成框架,让大模型输出直接转化为可交互原生界面。 前端 Agent-UI 实时交互协议,打通 LLM 与前端组件的双向数据流,侧重 Web 场景。
协议基础 基于 Google A2UI 开放协议,定义模型描述界面的标准 JSON 格式,并补齐端侧原生执行能力。 自研 AG-UI 协议,通过事件流驱动前端组件状态更新,实现 LLM 与 UI 的双向绑定。
支持平台 同时覆盖 iOS、Android、HarmonyOS 三端,一套代码即可跨端运行。 以 Web 生态为主,依赖前端框架(React/Vue/Angular),移动端需借助 WebView 或 PWA。
渲染方式 端侧原生渲染,跨平台 C++ Core 直接调用各平台原生渲染管线,非 WebView 中转。 前端框架无关渲染,最终依赖浏览器或 WebView 的渲染引擎,非原生组件直出。
AI 原生设计 专为 Agent 场景从零设计,组件、布局、交互均围绕大模型生成式输出优化。 专为 Agent 场景设计,提供前端层面的 LLM 状态管理与组件联动机制。
流式生成 采用 Streaming-first 架构,组件边生成边挂载呈现,配合差分更新与异步渲染。 支持事件流驱动,LLM 输出可实时映射到前端状态,但组件渲染受限于前端框架性能。
组件生态 内置 22 个基础组件与 45 项 CSS 属性,涵盖 Chart、RichText、Lottie、音视频播放器等复杂组件。 依赖前端生态现有组件库,通过协议层绑定 LLM 能力,组件丰富度取决于所选前端框架。
性能表现 首帧渲染时间大幅降低,支持 120fps 流畅动画,高频增量更新不阻塞主线程。 性能受限于浏览器或 WebView 渲染效率,复杂动画与高频更新场景下易出现掉帧。
接入方式 统一 API 数行代码即可接入 SDK,云侧生成 A2UI 数据后自动映射为端侧原生界面。 需在前端项目中引入 SDK 并配置 AG-UI 协议适配层,对前端技术栈有一定要求。
开源协议 开源 MIT 开源

选型建议: 对于需要同时覆盖 iOS、Android、HarmonyOS 三端且对原生性能和交互流畅度有高要求的 AI Agent 应用,AGenUI 是最优选择。其端云一体架构和原生渲染能力特别适合地图导航、本地生活、出行服务等复杂场景。如果应用主要面向 Web 端,且团队前端技术栈成熟,AG-UI (CopilotKit) 能提供更灵活的 Web 端 Agent-UI 集成方案。而对于非 Agent 场景的传统跨平台移动应用开发,React Native 凭借成熟的社区生态和丰富的组件库仍是更稳妥的选择。

6. 编辑点评

AGenUI 的推出标志着 AI Agent 在移动端落地进入了一个新阶段。从技术创新性来看,该框架首次实现了行业标准的 A2UI 协议在三端原生环境下的完整落地,填补了 Agent 输出与端侧原生渲染之间的技术空白。其端云一体架构和 Streaming-first 流式渲染机制在技术设计上具有前瞻性,特别是 C++ Core 跨平台底座的设计,从根本上保证了多端体验一致性和高性能渲染。与市面上基于 WebView 的 Agent UI 方案相比,AGenUI 在首帧渲染时间、动画流畅度和交互响应速度上具有明显优势。

从实用价值来看,AGenUI 解决了 AI Agent 在移动端落地的核心痛点——跨平台 UI 重复开发和原生渲染性能不足。对于需要在 iOS、Android、HarmonyOS 三端同时部署 Agent 应用的企业,AGenUI 可以大幅降低开发成本和维护负担。内置的 Design Token 设计系统也使得 AI 生成的 UI 能够直接对齐产品视觉标准,减少了设计到开发的沟通成本。不过,当前版本的组件生态和文档覆盖还有提升空间,社区贡献度也远不及 React Native 等成熟框架。

适用人群定位方面,AGenUI 最适合有跨平台移动开发经验、正在构建 AI Agent 应用的技术团队。对于前端开发者,需要补充原生平台开发知识;对于原生开发者,则需要理解 A2UI 协议和 Agent 工作流程。该框架不适合纯前端团队或对 HarmonyOS 支持有特殊要求的场景。

未来发展潜力上,AGenUI 有望成为 AI Agent 跨平台 UI 生成的标准方案。随着 Google A2UI 协议的普及和更多开发者的加入,其组件生态和社区贡献度将持续增长。如果能在文档完善、示例丰富和社区建设方面持续投入,AGenUI 有潜力成为 Agent UI 领域的标杆项目。

推荐指数:★★★★☆(4.5/5) 扣分项在于组件生态尚需完善、文档覆盖不足以及 HarmonyOS 支持有限。但对于 AI Agent 跨平台原生 UI 生成这一细分领域,AGenUI 是目前最成熟、最具前瞻性的解决方案。

7. 应用场景

  • 智能助手交互卡片: 在地图导航、本地生活、出行服务等复杂场景中,Agent 实时生成可交互的原生卡片,用户无需跳转即可完成查询、预订、支付等操作。例如,用户询问“附近有什么好吃的川菜馆”,Agent 即时生成包含地图标记、餐厅列表、评分信息和“立即预订”按钮的复合卡片,用户可直接在卡片内完成预订流程。

  • 动态数据可视化: Agent 根据对话上下文即时生成折线图、柱状图、饼图等原生图表组件,将抽象数据转化为直观可视的端侧原生界面。例如,在金融应用中,用户询问“我过去三个月的消费趋势”,Agent 自动生成包含折线图、分类饼图和月度对比表格的数据看板,用户可直接与图表交互查看详情。

  • 富媒体内容展示: 支持图文混排、轮播图、Lottie 动画、音视频播放等富交互内容的动态生成,满足营销、资讯、教育等场景的多媒体呈现需求。例如,在旅游营销场景中,Agent 根据用户偏好生成包含目的地图片轮播、视频介绍、行程推荐和预订按钮的富媒体卡片,提供沉浸式的浏览体验。

  • 企业级跨平台 Agent 应用: 面向需要同时在 iOS、Android、HarmonyOS 部署且对性能、视觉一致性和交互流畅度要求高的 B 端智能体产品,大幅降低多端适配成本。例如,企业内部的智能客服系统,Agent 根据用户问题生成包含工单表单、知识库链接、操作指引和反馈按钮的交互界面,一套代码同时覆盖三端员工使用。

8. 常见问题FAQ

Q:AGenUI 是否支持自定义组件开发?
A:支持。AGenUI 提供了组件扩展机制,开发者可以通过实现原生组件接口来创建自定义组件。自定义组件需要遵循 A2UI 协议规范,注册到组件工厂中即可被 Agent 识别和调用。框架内置的组件三维定制功能也允许对现有组件进行样式、行为和功能层面的覆写。

Q:AGenUI 与 WebView 方案相比,性能优势具体体现在哪些方面?
A:AGenUI 直接调用各平台原生渲染管线,首帧渲染时间比 WebView 方案降低 60% 以上。在复杂动画场景中,AGenUI 支持 120fps 流畅动画,而 WebView 方案在 30fps 以上即可能出现掉帧。此外,AGenUI 的差分异步更新机制确保高频增量更新不阻塞主线程,而 WebView 方案在频繁 DOM 操作时容易导致页面卡顿。

Q:HarmonyOS 平台的支持是否完整?
A:AGenUI 已实现对 HarmonyOS 4.0 及以上版本的原生支持,基础组件和核心功能均可正常使用。但部分高级组件(如 Lottie 动画、音视频播放器)在 HarmonyOS 平台可能存在兼容性问题,需要额外的适配工作。高德团队正在持续优化 HarmonyOS 平台的组件兼容性和性能表现。

Q:如何确保 Agent 生成的 A2UI JSON 数据的安全性?
A:AGenUI 在端侧提供了 JSON 数据的安全校验机制,包括 Schema 校验、白名单过滤和渲染沙箱。开发者可以在初始化时配置校验规则,拒绝不符合协议规范的 JSON 数据。建议生产环境中对云侧生成的 A2UI 数据进行签名验证,防止中间人攻击或恶意数据注入。

Q:AGenUI 是否支持离线使用?
A:AGenUI 的核心渲染引擎本身是离线可用的,但端侧渲染高度依赖云侧生成的 A2UI JSON 数据。如果需要在离线场景下使用,开发者需要在本地预置 Agent Skill 或缓存常用组件的 JSON 模板。框架提供了本地缓存和离线渲染模式,但 Agent 的动态生成能力在离线状态下会受到限制。

Q:AGenUI 的流式渲染机制如何保证用户体验?
A:流式渲染采用组件优先策略,高优先级组件(如文本、按钮)先生成并挂载,低优先级组件(如图表、动画)后生成。配合最小化节点差分更新,每次更新只重绘变化部分,避免全量重绘。独立线程的异步渲染机制确保 UI 更新不会阻塞主线程,用户在交互过程中不会感知到卡顿。

9. 项目地址

相关 AI 模型文章

Agents-A1 – 上海 AI Lab开源的混合专家智能体模型

Agents-A1 – 上海 AI Lab开源的混合专家智能体模型

Agents-A1是由上海人工智能实验室(上海AI Lab)开源的35B参数混合专家(MoE)智能体模型,专为复杂科研长程任务设计。该模型通过知识-行动图谱(KAG)构建可验证长轨迹基础设施,并采用三阶段多专家蒸馏训练,突破了大模型依赖海量参数实现复杂推理的局限。在长程搜索、科学推理、指令遵循等基准上,Agents-A1以35B参数实现了比肩甚至超越万亿参数模型的性能。

LingBot-VA 2.0 – 蚂蚁灵波推出的具身原生世界动作模型

LingBot-VA 2.0 – 蚂蚁灵波推出的具身原生世界动作模型

LingBot-VA 2.0是蚂蚁灵波推出的行业首个具身原生世界动作模型,基于自回归架构从零预训练,使机器人具备“边推演、边行动”的通用控制能力。模型采用因果DiT与稀疏MoE架构,总参数15.3B但推理仅激活2.5B,在RoboTwin 2.0基准上实现93.6%的双臂任务成功率,单GPU推理速度达到150Hz,异步模式下可达225Hz。该模型从架构设计、数据采集到训练目标均为物理世界量身定制,...

KAT-Coder-Pro V2.5 – 快手推出的 Agentic Coding 模型

KAT-Coder-Pro V2.5 – 快手推出的 Agentic Coding 模型

KAT-Coder-Pro V2.5是快手KwaiKAT推出的旗舰级Agentic Coding模型,专注于长程工程能力与通用Agentic能力。通过自研AutoBuilder将真实仓库环境构建成功率从16.5%提升至57.2%,沉淀超10万个可运行仓库;并建设KwaiClawEnv通用Agentic训练体系,结合多框架强化学习与MOPD多专家融合技术。模型在SWE-Bench Pro取得65.2...

LingBot-VLA 2.0 – 蚂蚁灵波开源的一代具身智能基座模型

LingBot-VLA 2.0 – 蚂蚁灵波开源的一代具身智能基座模型

LingBot-VLA 2.0是蚂蚁灵波科技(Robbyant)开源的新一代具身智能基座模型,基于6万小时大规模预训练数据(含5万小时真机操作和1万小时人类操作视频),覆盖17个品牌20种机器人构型,支持单臂/双臂、双足/轮式及头部、腰部、底盘等多自由度控制。模型采用稀疏MoE架构(1.6B总参数,0.6B激活参数)与统一动作空间表示,在GM-100双臂评测和长程移动操作任务中均超越π0.5与GR...

版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。