InstructAV2AV – 智源联合北大开源的音视频联合编辑模型

1. InstructAV2AV是什么

InstructAV2AV是由北京智源人工智能研究院与北京大学联合开发的开源音视频联合编辑模型。用户只需一句自然语言指令，即可在端到端生成过程中同时编辑视频画面与对应声音，无需手工掩码或分步处理。该模型支持台词修改、人物替换、对象插入与删除等操作，能够在修改目标内容的同时精准保留背景与环境声，并维持编辑后声画的时间同步，为视频后期制作和创意内容生产提供了一种高效的新范式。

技术定位与领域： InstructAV2AV属于多模态生成与编辑领域，具体聚焦于音视频联合编辑。与传统的视频编辑模型（仅处理画面）或音频编辑模型（仅处理声音）不同，该模型实现了视频画面和对应声音的同步编辑，在保持背景一致性的前提下实现局部修改。它是首个开源的支持指令驱动的音视频联合编辑模型，填补了该方向的开源空白，推动了多模态编辑技术从单模态向联合编辑的演进。

研发背景： 该模型由北京智源人工智能研究院（BAAI）与北京大学视觉与听觉信息处理实验室联合研发。智源在基础模型和多模态研究方面有深厚积累，曾推出悟道系列等大模型；北大在计算机视觉、音频处理和跨模态学习方面有强大学术背景。双方合作旨在解决现有音视频编辑中声画分离处理、手工掩码繁琐、编辑后声画不同步等核心痛点，通过融合视频与音频的联合建模，降低创作门槛，提升编辑的自然度和效率。

核心价值： InstructAV2AV的核心价值在于将音视频编辑从繁琐的手工流程中解放出来。用户无需分别处理视频和音频轨道，无需手动创建掩码或逐帧调整，只需一条自然语言指令即可同时修改画面和声音。模型能够自动保持背景、环境声和无关对象的稳定性，同时确保编辑后声画自然同步，大幅降低了音视频编辑的技术门槛，提升了创作效率和体验，尤其适用于影视后期、短视频制作等需要频繁修改的场景。

技术特点： 模型基于Ovi对称双流扩散Transformer架构改造，引入三大核心技术。一是源潜变量拼接（Source Latent Concatenation），将源视频与源音频的潜变量与噪声沿通道拼接，使源内容成为结构条件，约束模型保留背景和环境声，避免“改一个目标、重绘整个世界”。二是SIGA门控注意力（Source-Instruction Gated Attention），通过可学习的软门控逐位置决定修改程度，实现内容保留与指令执行的动态平衡。三是双流交互架构，视频与音频分支各自自注意力后通过双向跨模态注意力交换特征，保证视觉运动与声音事件相互约束、保持同步。此外，两阶段训练策略（先关闭跨模态注意力训练单模态编辑能力，再联合微调）和自动化数据流水线（构建InsAVE-80K数据集）也为模型性能提供了保障。

2. 主要功能

• 身份保持的语音修改： 在保留人物形象和音色的前提下，仅替换其说话内容和台词。该功能利用SIGA门控注意力精确锁定与语音相关的特征区域，避免修改影响人物外观，适用于影视后期配音修正、台词调整等场景，大幅减少补拍成本。

• 音视频实例替换： 将画面中的指定人物连同其声音和台词一起完全更换。模型通过源潜变量拼接保留背景和环境声，同时利用双流交互架构确保替换后的新人物与新声音在时间上精确同步，适合角色替换或虚拟主播形象变更等需求。

• 实例插入： 向视频画面中添加新对象（如人物、物体），并自动生成与之同步的声音。模型根据指令描述的对象属性，在视频中生成视觉内容并同步合成对应的声音（如说话声、动作声），实现音画一致的插入效果，拓展了内容创作的灵活性。

• 实例移除： 删除视频中指定的对象及其在音轨中的对应声音，同时保持背景和环境声的连贯性。模型通过注意力机制定位目标区域并移除其视觉与听觉信息，填充背景并平滑音频，适用于去除视频中不需要的人物或杂物。

• 属性组合编辑： 支持对人物外观、说话内容和音色进行独立修改并自由组合。用户可以在不改变音色的情况下修改台词，或在不改变外观的情况下更换音色，提供细粒度的控制能力，满足复杂的创意需求。

• 背景与环境声保留： 在编辑过程中，模型通过源潜变量拼接技术自动保持未修改的背景画面和环境声音不变，避免因局部编辑导致全局内容被重绘。这一特性确保了编辑结果的自然度和连贯性，是模型区别于其他编辑方案的核心优势。

• 声画时间同步： 基于双流交互架构中的双向跨模态注意力机制，模型在编辑过程中强制视频运动与音频事件相互约束，确保编辑后口型与声音、动作与音效在时间上精确对齐，消除常见的不同步问题。

3. 如何使用

1. 环境要求： 确保系统具备 Python 3.8 及以上版本，CUDA 11.7 及以上环境，推荐使用 NVIDIA GPU（至少 16GB 显存，如 RTX 3090/4090 或 A100）。操作系统建议 Linux（Ubuntu 20.04+），Windows 需确认 CUDA 支持。磁盘空间需预留至少 20GB 用于模型权重和数据集。

2. 克隆代码： 执行 git clone https://github.com/suimuc/InstructAV2AV.git 将仓库克隆到本地。注意使用 git lfs 跟踪大文件，建议先安装 Git LFS。

3. 配置环境： 进入项目目录，创建并激活 conda 环境：conda create -n instructav2av python=3.8 -y && conda activate instructav2av。然后安装依赖：pip install -r requirements.txt。若需特定 PyTorch 版本，请根据 CUDA 版本从 PyTorch 官网安装。

4. 下载权重： 从 Hugging Face 模型库下载权重：https://huggingface.co/suimu/InstructAV2AV。可以使用 git lfs clone https://huggingface.co/suimu/InstructAV2AV 或直接通过浏览器下载后放入 checkpoints 目录。确保权重文件完整，约 5GB。

5. 准备素材： 准备一段带声音的视频文件作为输入，建议时长不超过 30 秒，分辨率不超过 1024×1024，格式为 MP4 或 AVI。音频需与视频同步，模型会自动提取音频流。素材内容应清晰，避免过度抖动或复杂场景。

6. 运行推理： 使用命令行运行推理脚本，示例命令：python inference.py --video input.mp4 --instruction "把画面中的人物台词改为'你好，世界'"。可根据需要添加 --audio 参数指定独立音频文件，或使用 --cfg_scale 调整指令强度。推理时间取决于视频长度和 GPU 性能，一般 30 秒视频在 A100 上约需 2-3 分钟。

7. 保存结果： 推理完成后，输出目录（默认为 outputs/）会生成编辑后的视频文件，包含同步的音频轨道。检查结果是否满意，若不满意可调整指令或参数重新运行。建议保留原始素材备份。

注意事项： 模型对较长视频处理较慢且显存占用高，建议分段编辑；指令应简洁明确，避免模糊描述；首次运行需下载依赖模型（如 CLIP、VQVAE 等），确保网络通畅。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要同时编辑视频画面和对应声音的影视后期、短视频制作等场景，InstructAV2AV 是目前唯一的开源端到端解决方案，其背景保留和声画同步能力显著优于分步处理方案。如果仅需编辑视频画面（不涉及音频），InstructVideo 更轻量且社区成熟，适合纯视觉编辑任务。若只需音频生成或编辑（如音乐制作、音效设计），AudioLDM 2 在音频质量和灵活性上更具优势。对于从零生成音视频内容（而非编辑），Ovi 提供了完整的生成管线，适合创意内容原型设计。综合来看，InstructAV2AV 填补了音视频联合编辑的开源空白，但在复杂场景和中文支持上仍需改进。

6. 编辑总结

InstructAV2AV 在技术创新上展现了清晰的思路：通过源潜变量拼接解决背景保留难题，利用 SIGA 门控注意力实现指令与源内容的动态平衡，并基于双流交互架构保证声画同步。这些设计并非简单的模块堆叠，而是针对音视频联合编辑中“改什么、留什么、如何同步”三个核心问题给出的系统性回答。与现有单模态编辑模型相比，InstructAV2AV 实现了从“分别编辑”到“联合编辑”的范式跃迁，其端到端特性显著降低了编辑流程的复杂度。

从实用价值来看，该模型直接降低了音视频编辑的技术门槛。影视后期人员无需掌握复杂的掩码和轨道操作，短视频创作者可以快速迭代素材，虚拟人运营团队能灵活调整数字人的外观与声音。模型开源的 Apache 2.0 协议也使其适合商业集成，有望成为多模态编辑基础设施的一部分。

适用人群主要包括：影视后期制作人员（用于台词修正、角色替换）、短视频与社交媒体创作者（快速生成多版本内容）、虚拟人运营团队（调整数字人属性）、以及多模态 AI 研究人员（作为基线模型或改进平台）。对于专业影视级应用，当前版本在复杂场景下仍需人工后期，但已能大幅减少重复劳动。

未来发展潜力方面，InstructAV2AV 的架构具有较好的扩展性：可引入更长视频的处理策略、支持更多语言指令、提升编辑分辨率和细节质量。随着社区贡献的增加，模型有望在实时编辑、多对象交互编辑等方向取得突破。总体而言，InstructAV2AV 是音视频联合编辑领域的重要开源里程碑，其技术路线值得关注和跟进。

7. 应用场景

• 影视后期： 影视后期人员使用 InstructAV2AV 替换演员台词并同步口型，无需重新拍摄。例如，修改一段对话中的台词，模型自动保持演员形象和背景不变，同时生成与口型匹配的新声音，大幅降低补拍成本，提升后期效率。

• 短视频制作： 短视频创作者通过一句指令修改素材中的人物与声音，快速生成不同版本的视频。例如，将视频中的路人替换为特定角色，并自动生成对应的对话声音，适用于模板化内容生产和多平台分发。

• 虚拟人运营： 虚拟人运营团队利用模型调整数字人的外观、音色与说话内容，实现个性化互动。例如，根据用户需求改变虚拟主播的发型、服装和声音，同时保持动作和背景连贯，提升虚拟人内容的多样性和吸引力。

• 广告创意： 广告从业者批量生成不同人物与台词版本的宣传视频，用于 A/B 测试。例如，将广告中的代言人替换为不同形象，并同步修改广告词，模型保持背景和产品展示不变，快速产出多个创意版本，缩短制作周期。

• 交互式内容生产： 游戏与教育工作者动态生成音画一致的多媒体素材。例如，在教育视频中插入一个讲解新知识的人物，模型自动生成其声音并确保与画面同步，适用于个性化教学内容的快速制作。

8. 常见问题FAQ

Q：InstructAV2AV 需要什么样的硬件才能运行？
A：建议使用至少 16GB 显存的 NVIDIA GPU（如 RTX 3090/4090 或 A100），CUDA 版本 11.7 以上。如果使用消费级显卡（如 RTX 3060 12GB），可能需要降低视频分辨率或缩短时长，推理速度会明显下降。CPU 推理目前不支持。

Q：模型支持中文指令和中文内容编辑吗？
A：模型主要基于英文数据进行训练，中文指令的语义理解能力有限。对于中文内容编辑（如修改中文台词），效果可能不如英文理想，可能出现语义偏差或口型同步问题。社区正在探索中文适配方案，但目前建议优先使用英文指令。

Q：编辑后的视频质量如何？能保持原始分辨率吗？
A：模型在编辑过程中会保持输入视频的分辨率，但编辑区域可能出现轻微模糊或伪影，尤其在快速运动或复杂纹理区域。建议输入视频分辨率不超过 1024×1024，编辑后质量总体可接受，但专业级应用可能需要后期降噪或锐化。

Q：如何处理超过 30 秒的长视频？
A：模型对长视频的显存占用和推理时间会显著增加，建议将长视频分割为多个短片段（每段不超过 30 秒），分别编辑后再拼接。注意拼接处可能出现音画不连续，需手动调整过渡。未来版本可能引入长视频处理优化。

Q：模型是否支持实时编辑？
A：目前不支持实时编辑。推理速度取决于视频长度和 GPU 性能，一段 30 秒视频在 A100 上约需 2-3 分钟，在消费级 GPU 上更慢。模型主要用于离线编辑场景，实时应用需要轻量化改造。

Q：如何获取模型权重和代码？
A：代码托管在 GitHub（github.com/suimuc/InstructAV2AV），模型权重发布在 Hugging Face（huggingface.co/suimu/InstructAV2AV），均可直接下载。权重约 5GB，建议使用 Git LFS 或断点续传工具。

Q：模型可以用于商业项目吗？
A：可以。模型采用 Apache 2.0 许可证，允许商业使用、修改和再分发，但需保留版权声明。使用前请确认依赖组件（如 CLIP、VQVAE 等）的许可证兼容性。

9. 项目地址

• 项目官网：https://hjzheng.net/projects/InstructAV2AV/
• GitHub 仓库：https://github.com/suimuc/InstructAV2AV
• HuggingFace 模型库：https://huggingface.co/suimu/InstructAV2AV
• arXiv 技术论文：https://arxiv.org/pdf/2605.18467