video-use – Browser Use 团队开源的 AI 视频剪辑 Agent

1. video-use是什么

Video-use 是由 Browser Use 团队开源的 AI 视频剪辑 Agent，通过自然语言对话替代传统时间线操作，实现从素材盘点、口癖清除、调色、字幕叠加到动画生成的全自动剪辑流程。用户只需将原始素材放入文件夹并描述需求，Agent 即可独立完成成片输出。其核心创新在于让大语言模型（LLM）通过音频转录文本（约 12KB）理解视频内容，而非逐帧分析画面，从而将 token 成本降至极低水平。该工具专为口播、教程、访谈等结构化内容的高效自动化剪辑设计，是 AI 在视频后期领域迈向“策略确认而非手动操作”的重要实践。

技术定位与领域： video-use 属于 AI 驱动的自动化视频后期处理工具，定位在“对话式剪辑 Agent”这一细分方向。它不依赖传统视频编辑软件的图形界面，而是通过编程 Agent（如 Claude Code、Codex）接收自然语言指令，调用底层音视频处理库（ffmpeg、Remotion、HyperFrames 等）完成剪辑。其技术栈融合了 LLM 推理、语音转录、音视频处理引擎和自评估循环，属于多智能体协作系统在创意生产领域的典型应用。

研发背景： Browser Use 团队此前已开源同名项目“Browser Use”——一个让 AI 操控浏览器的 Agent 框架，在 GitHub 上收获超过 1.3 万星标。基于“用 AI 替代人类在屏幕上的机械操作”这一核心理念，团队将 Agent 能力从网页操控延伸至视频剪辑，开发了 video-use。该项目的研发动机源于对内容创作者重复劳动痛点的观察：大量口播、教程类视频的后期处理（口癖清除、调色、字幕）高度重复且耗时，但决策复杂度较低，完全可由 AI 自动化完成。

核心价值： video-use 解决了视频剪辑中“机械劳动占比过高”的问题。传统剪辑中，素材整理、口癖清除、基础调色、字幕添加等步骤占据大量时间，而真正体现创意的剪辑策略（节奏、叙事结构）却往往被压缩。video-use 让人类只需确认策略（如“保持温暖色调，删除所有停顿”），Agent 自动执行所有重复性工作，并内置自评估循环确保质量。此外，通过音频转录文本的极低 token 成本设计，video-use 使得 LLM 能够在不依赖昂贵视觉模型的情况下理解视频内容，大幅降低了 AI 剪辑的推理开销。

技术特点： video-use 采用“音频转录文本”作为视频内容理解的核心手段，将每段视频压缩为约 12KB 的文本，使 LLM 能够高效“阅读”而非“观看”视频。同时，它支持多引擎动画生成（HyperFrames、Remotion、Manim、PIL+ffmpeg），由独立子 Agent 并行执行；渲染后自动执行自评估循环，最多修复 3 次质量问题。会话记忆功能将每次剪辑决策追加到 project.md 文件，确保下次接续工作时保留历史偏好。

2. 主要功能

• 口癖与死寂清除： 自动识别并删除“嗯”“啊”等填充词、长停顿及表现不佳的重复拍摄 take。基于音频转录文本中的时间戳和语言模型对填充词的语义理解，Agent 能够精准定位冗余片段并执行切割，无需人工逐帧查看。

• 自动调色： 内置 warm_cinematic（暖色电影感）、neutral_punch（中性增强）等预设风格，同时支持用户自定义 ffmpeg 滤镜链。Agent 根据素材类型和用户描述自动选择调色方案，确保成片视觉风格统一。

• 30ms 音频淡变： 每个切点自动添加 30 毫秒淡入淡出，彻底消除切点爆音。该功能通过 ffmpeg 的 acrossfade 滤镜实现，在保证剪辑节奏流畅的同时避免听觉突兀，是专业剪辑中的标配细节。

• 烧录字幕： 默认采用“两词大写”短视频风格，支持长句自然、大字幕强调等自定义选项，包括字体、颜色、位置。Agent 基于音频转录文本自动生成时间轴，并将字幕直接渲染到视频画面中，无需额外字幕文件。

• 动画叠加： 调用 HyperFrames、Remotion、Manim、PIL+ffmpeg 等引擎生成 B-roll 和动画卡片，由独立子 Agent 并行生成。用户可通过自然语言描述所需动画类型（如“在讲解时显示一个旋转的 3D 图标”），Agent 自动选择合适的引擎并渲染。

• 自评估循环： 渲染后自动检查切点跳帧、音频爆音、字幕遮挡、叠加层对齐等问题，最多修复 3 次。该功能通过预设的视觉和音频质量检测规则实现，确保成片在交付用户前达到专业水准，避免常见剪辑错误。

• 会话记忆： 每次剪辑决策追加到 project.md 文件，下次接续工作时保留之前的偏好和策略。这意味着用户无需重复描述调色风格、字幕格式等偏好，Agent 会自动继承历史配置，实现长期一致的剪辑风格。

3. 如何使用

1. 环境要求： 需要安装 Python 3.10 或更高版本，以及 ffmpeg（推荐通过 brew install ffmpeg 安装）。操作系统支持 macOS、Linux 和 Windows（Windows 用户需安装 Git Bash 或 WSL）。建议至少 8GB 内存，以支持 LLM 推理和视频渲染并行运行。

2. 克隆仓库： 在终端执行 git clone https://github.com/browser-use/video-use ~/Developer/video-use，将项目代码下载到本地开发者目录。如果使用其他路径，后续符号链接步骤需相应调整。

3. 安装依赖： 进入项目目录后运行 uv sync（推荐使用 uv 包管理器）或 pip install -e . 安装 Python 依赖。同时通过 brew install ffmpeg 安装必需的音视频处理工具。对于 Windows 用户，可从 ffmpeg.org 下载预编译二进制文件并添加到 PATH。

4. 配置 API Key： 复制环境变量模板文件 cp .env.example .env，然后编辑 .env 文件填入 ElevenLabs API Key（用于音频转录服务）。注意：ElevenLabs 提供免费额度，但大规模使用需付费。如果使用其他转录服务，可修改代码中的转录模块。

5. 注册 Skill： 创建符号链接将 video-use 注册到 Agent 的 skills 目录。例如 Claude Code 用户执行 ln -sfn ~/Developer/video-use ~/.claude/skills/video-use。对于其他 Agent（如 Codex），需查阅对应文档配置 skills 路径。

6. 开始使用： 进入存放原始视频素材的文件夹，启动你的编程 Agent（如 Claude Code），对它说 “edit these into a launch video” 即可触发自动剪辑流程。Agent 会先盘点素材，询问用户剪辑策略（如调色风格、字幕格式），然后自动执行全流程。

注意事项： 首次使用建议先处理短素材（1-2 分钟）以验证配置正确。如果遇到音频转录失败，检查 ElevenLabs API Key 是否有效。自评估循环可能因素材复杂而多次修复，可调整 MAX_FIX_ATTEMPTS 环境变量控制最大修复次数。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于技术博主、教程制作团队等需要批量处理口播类内容的用户，video-use 是最佳选择——完全免费、可本地运行、支持高度自定义的动画引擎，且通过音频转录大幅降低推理成本。但需要用户熟悉命令行和编程 Agent 配置。如果团队更倾向于图形界面且预算充足，Descript 提供更直观的文字编辑视频体验，适合非技术用户。对于需要从零生成视频（而非剪辑现有素材）的场景，RunwayML 的生成能力更强，但成本较高且输出风格难以精确控制。OpenStoryline 作为小红书团队的开源项目，在中文素材搜索和故事线生成方面有独特优势，适合需要融合在线素材的创作者。

6. 编辑点评

Video-use 在技术创新性上值得肯定：其“音频转录文本”替代视觉分析的策略，精准解决了 LLM 处理视频的高成本痛点。传统方案需要逐帧调用视觉模型（如 CLIP、Video-LLaMA），token 消耗动辄数十万，而 video-use 将一段 10 分钟的视频压缩为约 12KB 文本，使 LLM 能够以极低成本理解内容结构。这一设计思路不仅降低了运行门槛，也为 AI 视频处理提供了可复用的范式——对于以语音为核心的内容，文本转录足以承载剪辑决策所需的信息。

实用价值方面，video-use 对技术博主、教程制作者等群体的效率提升显著。以每周制作 3 条 10 分钟口播视频为例，传统剪辑需要 4-6 小时，而 video-use 可将时间压缩至 30 分钟（策略确认 + 自动处理）。自评估循环进一步减少了人工复核时间，确保成片质量。不过，当前版本对非结构化内容（如 Vlog、电影）支持有限，且依赖 ElevenLabs 转录服务限制了离线使用场景。

适用人群定位清晰：适合具备基本命令行操作能力的内容创作者、开源爱好者以及需要批量产出标准化视频的团队。对于追求极致创意剪辑的专业人士，video-use 目前仅能作为辅助工具，无法替代人工在叙事节奏、情感表达上的判断。

未来发展潜力：随着多模态 LLM 的进步，video-use 未来可能引入视觉理解能力（如场景识别、物体跟踪），从而拓展至更复杂的剪辑场景。同时，社区贡献者正在开发本地转录模型（如 Whisper）的支持，有望解决 API 依赖问题。

7. 应用场景

• 技术博主口播剪辑： 快速将多次录制的 raw footage 剪成连贯的发布视频，自动清除口癖和停顿。博主只需录制多条 take，Agent 会基于音频转录选择最佳片段并拼接，输出带字幕和统一调色的成片。

• 教程制作团队： 批量处理大量重复性剪辑任务，标准化字幕、调色和动画叠加流程。例如，一个在线课程平台每周需要发布 20 个教学视频，video-use 可确保所有视频采用相同的字幕样式、调色预设和转场效果，避免人工操作导致的风格不一致。

• 产品发布视频： 将多段素材（产品特写、讲解、演示）按策略自动拼接，统一视觉风格并生成配套 B-roll 动画。用户只需描述“先展示产品外观，再讲解功能，最后演示使用场景”，Agent 会自动编排顺序并叠加动画卡片。

• 访谈/播客后期： 自动识别最佳 take、清除冗余内容，输出带字幕和淡变处理的成片。对于多机位访谈，video-use 可根据音频转录选择发言者对应的画面，自动切换镜头并添加 30ms 淡变，使成片流畅自然。

• 内容创作者标准化工作流： 将剪辑流程从手动操作转为策略确认，释放时间聚焦内容创作本身。例如，一名 YouTube 博主可将每周 vlog 的剪辑规则（调色风格、字幕位置、片头动画）固化到 project.md，后续视频只需描述素材内容，Agent 自动执行。

8. 常见问题FAQ

Q：video-use 是否需要 GPU 才能运行？
A：不需要独立 GPU。视频渲染和动画生成主要依赖 CPU，但复杂动画（如 Remotion 的 3D 场景）建议使用独立 GPU 以加快渲染速度。LLM 推理部分可在 CPU 上运行，但响应速度较慢，推荐使用 API 形式（如 Claude Code 的云端推理）。

Q：音频转录服务是否支持中文？
A：ElevenLabs 的转录服务支持中文，但准确率低于英文。对于中文口播内容，建议在转录后人工校对时间轴，或替换为本地 Whisper 模型（需修改代码中的转录模块）。社区正在开发 Whisper 集成方案。

Q：如何处理超过 30 分钟的素材？
A：video-use 对素材长度没有硬性限制，但长视频的音频转录文本可能超过 LLM 上下文窗口（如 Claude 3.5 Sonnet 的 200K token）。建议将长视频拆分为多个片段分别处理，或使用支持更长上下文的模型（如 Gemini 1.5 Pro）。开发者可调整代码中的分块策略。

Q：是否支持批量处理多个文件夹的素材？
A：目前仅支持单个文件夹的素材处理。如需批量处理，可编写脚本循环调用 video-use 的剪辑流程，或等待社区开发批量处理功能。project.md 会记录每次剪辑的决策，可用于批量场景下的模板复用。

Q：自定义 ffmpeg 滤镜链如何配置？
A：在项目目录的 config.yaml 文件中，找到 color_grade 字段，可添加自定义 ffmpeg 滤镜参数。例如 filters: "eq=brightness=0.1:saturation=1.2" 即可调整亮度和饱和度。支持所有 ffmpeg 滤镜语法，但需注意参数顺序。

Q：渲染后的视频质量如何？
A：视频质量取决于原始素材和 ffmpeg 编码参数。默认使用 libx264 编码，CRF 值为 23，可平衡文件大小和质量。如需更高画质，可在配置中调整 CRF 值（如 18）或更换编码器（如 libx265）。自评估循环会检查跳帧和爆音，但不会评估画质细节。

9. 项目地址

• GitHub 仓库：https://github.com/browser-use/video-use
• Browser Use 团队 GitHub 组织：https://github.com/browser-use
• 官方技术说明（README）：https://github.com/browser-use/video-use/blob/main/README.md