OpenMuse – CopilotKit 开源的个人 AI 助理

1. OpenMuse是什么

OpenMuse 是由 CopilotKit 团队开源的个人 AI 助理项目，其核心设计理念是"给 Agent 配一台电脑"——通过持久化浏览器、可选 Linux Docker 容器和文件系统的组合，让 AI 代理能够在后台持续运行复杂任务，并允许用户随时暂停、接管或恢复操作。该项目面向 iOS、Android 和 Web 三端，内置了 Gmail 与日历集成、PDF 表单填写、网页监控、支出分析等个人助理高频场景，同时提供个人记忆与目标追踪能力。OpenMuse 定位为开发者友好的二次开发框架，用户需自行配置模型 API 密钥与云服务凭据。

图片来源为官方文章

技术定位与领域： OpenMuse 属于 AI Agent 应用框架与个人生产力工具的交集领域。其技术栈以 CopilotKit 为核心，通过 AG-UI 协议连接前后端，属于典型的"前端交互层 + 后端执行引擎"解耦架构。在 AI Agent 赛道中，OpenMuse 的差异化定位在于"可视化工作区"——Agent 的每一步操作（浏览网页、执行命令、处理文件）都以可观察的形式呈现，而非黑盒式任务派发。

研发背景： OpenMuse 由 CopilotKit 团队开发并开源。CopilotKit 本身是一个成熟的 AI 应用开发框架，已在 React/Vue 生态中积累了丰富的 Agent 交互组件。OpenMuse 可以视为 CopilotKit 团队将自身框架能力产品化的标杆案例，其研发动机在于解决当前 AI Agent 应用中"任务不可见、过程不可控、中断即丢失"的普遍痛点，同时验证 CopilotKit 在复杂多步骤任务场景下的工程可行性。

核心价值： OpenMuse 解决了三个实际问题：其一，AI Agent 任务执行缺乏透明性，用户无法判断代理在做什么、做到哪一步；其二，长耗时任务（如网页调研、批量文件处理）在关闭前端后即中断，无法后台持续运行；其三，Agent 的写入操作（发邮件、改日历）缺乏安全确认机制，容易造成不可逆后果。通过持久化浏览器、服务端任务引擎和人工确认机制，OpenMuse 将这三个问题纳入了可控范围。

技术特点： OpenMuse 的技术亮点集中在三方面：一是基于 AG-UI 协议的端到端解耦架构，Agent 后端可替换为任意兼容 harness；二是"持久化浏览器 + Linux 容器"的双重工作区设计，兼顾网页操作与命令执行的灵活性；三是内置 SQL 租约的任务调度机制，保证任务在服务端持续运行且可恢复，关闭前端不中断。

2. 主要功能

• Agent 电脑（持久化工作区）： 内置持久化 Chromium 浏览器和可选 Linux Docker 容器，Agent 可真实浏览网页、执行 Shell 命令、处理文件和 PDF。浏览器会话与文件系统在任务间保持连续，Agent 可随时回到之前的操作上下文继续工作。该功能是 OpenMuse 区别于纯对话式 Agent 的核心能力。

• 人工接管（Take Control）： 用户可随时打开浏览器或终端查看 Agent 的实时操作画面，并通过 "Take control" 按钮直接接手同一会话继续操作。这种"人机协同"模式既保留了 Agent 的自动化效率，又让用户在关键节点获得完全控制权，尤其适合网页操作中需要人工判断的场景。

• 任务管理引擎： 每个任务附带计划、进度和审批节点，支持暂停、恢复、取消和重试操作。任务状态持久化存储在服务端，关闭前端后任务仍可继续运行。底层通过 SQL 租约机制管理任务生命周期，中断后可从断点恢复，避免重复劳动。

• Gmail 与日历集成： 通过 Google OAuth 协议接入，支持完整邮件线程查看、草稿编辑、日历事件的创建/修改/删除。每次写入操作（发送邮件、修改日程）都需用户人工确认，防止 Agent 误操作造成不可逆影响。该功能将邮件处理从"被动查阅"升级为"主动代办"。

• PDF 表单智能填写： 读取邮件附件中的 PDF 表单，自动识别需要填写的字段，向用户补充询问缺失信息，生成填好的副本供审阅，并准备回复草稿。该功能将"下载→阅读→填写→回复"的完整流程压缩为"确认→发送"两步，显著提升文档处理效率。

• 目标追踪与网页监控： 目标可拆分为里程碑，Agent 定期检查公开网页的内容变更、商品补货情况和价格阈值，触发告警时自动去重，避免重复通知。该功能适用于抢购、比价、竞品监控等需要持续关注外部信息的场景，将被动等待转为主动感知。

• 支出分析： 导入银行交易 CSV 文件，自动生成分类支出汇总和储蓄目标建议，形成可交互的记账看板。该功能将零散的消费记录转化为结构化财务洞察，帮助用户快速了解资金流向。

• 个人记忆： 支持可编辑的名字、语气、头像和记忆偏好设置，这些信息跨任务持久保留。Agent 在与用户交互时能保持一致的风格和上下文，避免每次对话都从零开始。

3. 如何使用

1. 环境要求： 需要 Node.js 环境（建议 18+ 版本）和 pnpm 包管理器。后端 API 服务默认运行在 localhost:8787，Web 前端运行在 localhost:8081。如需启用 Linux 工作区，需安装 Docker 并构建容器镜像；若要运行移动端，还需 Xcode（iOS）或 Android 工具链。

2. 克隆与安装： 在终端执行 git clone https://github.com/CopilotKit/OpenMuse.git openmuse 克隆项目，执行 cd openmuse 进入目录，再执行 pnpm install --frozen-lockfile 按锁文件安装全部依赖。建议使用锁文件安装以保证依赖版本一致性。

3. 配置环境变量： 执行 cp .env.example .env 复制示例配置。依次执行 npx copilotkit@latest login 完成登录，再执行 npx copilotkit@latest project select 选择或创建 Intelligence 项目，将生成的 CPK_INTELLIGENCE_API_KEY 填入 .env 文件，这是对话持久化功能必需的密钥。

4. 启动服务： 执行 pnpm dev 启动 API 服务，通过 localhost:8787/api/health 检查健康状态。另开终端执行 pnpm dev:web 启动 Web 前端，浏览器访问 localhost:8081 打开应用界面。如需浏览器工作线程，先执行 pnpm --dir apps/worker exec playwright install chromium 安装浏览器，再执行 pnpm dev:browser。

5. 配置真实模型与外部服务： 在 .env 中设置 AGENT_BACKEND=model、MODEL=provider/model-id，并填入 OpenAI、Anthropic 或 Google 的 API 密钥。接入 Gmail 和日历需在 Google 云平台创建 OAuth 客户端并启用 Gmail 与 Calendar API，将 Client ID 和 Secret 填入 .env，然后在应用的 Apps 页面完成账号授权。

6. 启用 Linux 工作区（可选）： 执行 docker build -t openmuse-computer:local apps/computer 构建容器镜像，然后用 COMPUTER_ENABLED=true pnpm dev 启动 API 使工作区生效。运行移动端时，iOS 设备执行 pnpm --dir apps/mobile ios，Android 设备执行 pnpm --dir apps/mobile android。

4. 优缺点分析

5. 同类工具对比

选型建议： 若你的核心诉求是"看得见、控得住"的 Agent 体验，需要处理邮件、PDF、网页监控等个人助理场景，且希望一套代码覆盖三端，OpenMuse 是更合适的选择。其可视化工作区和 Take control 机制在需要人工判断的网页操作场景中具有明显优势。若你更看重多渠道消息接入（如 WhatsApp、Telegram、Discord）和 7×24 自主运行能力，且需要接入本地模型或 DeepSeek 等更多模型提供商，OpenClaw 的网关式架构和 ClawHub 技能生态则更具吸引力。对于需要深度定制 Agent 行为的开发者，AutoGPT 的框架灵活性更佳，但需要自行处理任务持久化和前端展示。若团队追求开箱即用的产品体验且不介意闭源，Manus 的云端托管模式可免去部署运维负担。

6. 编辑总结

OpenMuse 在 AI Agent 应用层面做出了有价值的工程探索。其最突出的创新在于将"过程透明"从理念落为具体机制——持久化浏览器让 Agent 的每一步操作都可视，Take control 实现了人机协同的平滑切换，SQL 租约保证了任务的断点续跑。这三项能力的组合，恰好回应了当前 AI Agent 落地中最受质疑的"黑盒执行"问题。从实用价值看，OpenMuse 覆盖的邮件处理、PDF 表单、网页监控、支出分析等场景均来自真实个人助理需求，而非概念演示，每个场景都已打通完整的端到端流程。其安全设计（写入需确认、容器非 root、网络隔离）也体现了对 Agent 失控风险的务实考量。

OpenMuse 的适用人群定位明确：具备一定开发能力的个人开发者、需要快速搭建 Agent 应用原型的团队，以及希望在自有产品中嵌入 Agent 工作区能力的工程团队。对于非技术用户，配置模型密钥、Google OAuth、Docker 等前置步骤构成了较高的使用门槛。从发展潜力看，OpenMuse 所依托的 CopilotKit 框架仍在快速迭代，AG-UI 协议的解耦架构为后续接入更多 Agent harness 留出了空间。若社区能够围绕场景技能形成类似 ClawHub 的生态，OpenMuse 在个人助理赛道的竞争力将进一步提升。当前阶段，它更适合作为技术团队研究 Agent 工作区设计与任务编排的参考实现，而非面向大众的成熟产品。

7. 应用场景

• 邮件事务处理： 助理自动翻查邮件、打开相关邮件，读取附件 PDF 后向你补充询问缺失信息、填好表单副本，并拟好回复等待一键确认发送。适用于请假申请、报名表、合同签署等需要频繁处理表单附件的场景，可将每次处理时间从数分钟压缩到数十秒。

• 网页调研与信息收集： 浏览 Hacker News、研究特定主题时，浏览器操作和摘要结果直接内联在聊天窗口中，用户可以随时 Take control 介入纠正方向。适用于竞品分析、技术选型调研、新闻追踪等需要多页面浏览与信息整合的任务，Agent 可并行打开多个页面并汇总要点。

• 价格与库存监控： 设定目标后定期检查商品页面，在补货或价格跌破阈值时自动告警，告警自动去重避免重复通知。适用于抢购限量商品、跨境比价、关注常用耗材价格波动等场景，用户无需反复手动刷新页面。

• 日程与活动安排： 通过 Gmail/日历 OAuth 接入，可以查阅邮件中的活动信息、创建或修改日历事件，每次变更都需用户确认。适用于会议协调、行程规划、活动报名等需要跨邮件与日历操作的场景，减少手动切换应用的成本。

• 个人财务管理： 导入银行交易 CSV 文件，自动生成分类支出汇总和储蓄目标建议，形成可交互的记账看板。适用于月度预算管理、消费结构分析、储蓄计划制定等场景，帮助用户快速识别非必要支出并优化资金分配。

8. 常见问题FAQ

Q：OpenMuse 和普通 ChatGPT 等聊天机器人有什么区别？
A：OpenMuse 的核心差异在于"行动能力"和"过程透明"。普通聊天机器人仅基于对话生成文本回复，而 OpenMuse 能为 Agent 提供持久化浏览器、Linux 容器和文件系统，使其能真实执行网页浏览、命令运行、文件处理等操作。同时，所有操作过程可视化，用户可随时接管，而非只能等待最终结果。

Q：部署 OpenMuse 需要哪些前置条件？
A：需要 Node.js 18+ 和 pnpm。若启用 Linux 工作区需安装 Docker；运行移动端需 Xcode（iOS）或 Android 工具链。此外，必须准备模型 API 密钥（OpenAI/Anthropic/Google），接入 Gmail/日历需创建 Google OAuth 客户端，对话持久化需 CopilotKit Intelligence 项目密钥。

Q：关闭浏览器或前端页面后，正在运行的任务会中断吗？
A：不会。OpenMuse 的任务引擎运行在服务端，任务状态通过 SQL 租约持久化保存。关闭前端后任务仍可继续执行，重新打开应用后可查看进度、恢复或取消任务。但需注意 API 服务进程本身需保持运行。

Q：如何确保 Agent 不会误发邮件或修改日历？
A：OpenMuse 在安全设计上做了双重保障：所有写入操作（发送邮件、修改日历事件）都需用户人工确认，Agent 无法自动执行；同时凭据加密存储，容器以非 root 身份运行、网络隔离、命令执行限时，从机制上降低误操作和越权风险。

Q：是否支持接入除 OpenAI、Anthropic、Google 之外的模型？
A：官方支持的模型提供商为 OpenAI、Anthropic 和 Google，通过 CopilotKit 框架接入。由于架构采用 AG-UI 协议解耦，Agent 后端理论上可替换为任意兼容的 harness，但需要自行开发适配层。目前暂不支持直接配置 DeepSeek、Kimi 或本地模型。

Q：OpenMuse 适合非技术用户直接使用吗？
A：不适合。OpenMuse 定位为开发者友好的开源框架，需要用户完成克隆代码、安装依赖、配置环境变量、申请多个 API 密钥等步骤。非技术用户建议等待基于该框架的托管 SaaS 产品，或寻求开发者协助部署。

9. 项目地址

• CopilotKit 官网：https://www.copilotkit.ai （CopilotKit 框架官方站点，OpenMuse 为其开源项目，相关文档与公告在此发布）
• GitHub 仓库：https://github.com/CopilotKit/OpenMuse （官方代码仓库，包含完整源码与部署文档）