ControlFoley – 小米开源的可控视频音效生成模型

1. ControlFoley是什么

ControlFoley是由小米研究院开源的可控视频音效生成模型，旨在解决视频到音频（V2A）领域长期存在的可控性难题。该模型统一支持三类视频配音任务：文本引导配音（TV2A）、文本控制配音（TC-V2A）和参考音频控制配音（AC-V2A），通过自研的时空音视频编码器CAV-MAE-ST、时间-音色解耦机制与模态鲁棒训练策略，实现了语义对齐、时间同步与音质的全面提升。在VGGSound-Test、Kling-Audio-Eval等多个benchmark上，ControlFoley均达到开源SOTA水平，代码与模型权重已全面开放。

技术定位与领域： ControlFoley属于多模态生成领域，具体聚焦于视频音效生成（V2A）子方向。与传统的无条件或仅文本引导的V2A模型不同，ControlFoley强调“可控性”，即用户可以通过文本指令或参考音频精确控制生成音效的风格、内容和时间节奏，这在短视频创作、影视后期等场景中具有极高的实用价值。

研发背景： 该模型由小米研究院的YJX团队主导研发。小米作为消费电子与AIoT领域的头部企业，在音视频处理、端侧推理方面积累了深厚技术。ControlFoley的研发动机源于现有V2A模型在可控性上的不足——大多数模型仅支持文本引导，当文本与画面语义冲突时，模型往往忽略文本意图，且无法利用参考音频控制音色风格。小米团队通过统一框架解决了这些痛点。

核心价值： ControlFoley的核心价值在于“一个模型，三种控制模式”。创作者无需切换多个工具，即可在同一个推理框架下实现：根据文本提示补充画面缺失的声音语义、在文本与画面冲突时强制遵循文本指令、以及通过参考音频直接复制或改编音色风格。这种灵活性大幅降低了视频音效制作的门槛，尤其适合非专业用户快速产出高质量配音。

技术特点： 自研CAV-MAE-ST时空音视频编码器联合CLIP视觉编码器，在语义理解与时间同步两方面取得平衡；时间-音色解耦技术确保参考音频仅影响音色而不破坏视频节奏；模态鲁棒训练通过随机模态dropout与统一表示对齐，使模型在单模态或多模态输入下均能稳定输出。这些创新共同构成了ControlFoley的技术护城河。

2. 主要功能

• TV2A（文本引导视频配音）： 根据输入视频和文本提示生成与画面动作同步的音效。文本用于补充画面中缺失或模糊的声音语义，例如在静默的雨景视频中添加“小雨淅沥”的文字，模型会生成符合节奏的雨声。该模式适合需要增强画面自然声音的场景。

• TC-V2A（文本控制视频配音）： 当文本与视频画面语义存在冲突时，模型优先遵循文本意图，同时保持与视频时间节奏的同步。例如，视频中人物在敲击桌面，但文本指令要求生成“鼓声”，模型会忽略画面中的敲击声语义，转而在每个敲击动作点生成鼓声。这解决了传统V2A模型“视觉主导”导致文本控制失效的痛点。

• AC-V2A（参考音频控制视频配音）： 用户提供一段参考音频，模型提取其全局音色特征（如乐器种类、音色质感），并以此风格为视频生成同步音效。时间-音色解耦机制确保了参考音频中的节奏信息被抑制，仅保留音色风格，不会干扰视频原有的动作节拍。这为品牌音效统一、风格迁移提供了高效手段。

• 统一多任务推理框架： 单一模型架构支持上述三类任务，无需切换不同模型或微调。模型内部通过条件编码器区分输入模态组合（仅视频、视频+文本、视频+参考音频），推理时自动适配。这降低了部署和维护成本，尤其适合需要灵活切换控制模式的生产环境。

• 时空音视频编码器CAV-MAE-ST： 自研的联合视觉-音频编码器，专注捕捉视频中动作与声音的时空对应关系。与标准CLIP编码器互补：CLIP负责高层次的语义对齐（例如“猫叫”），CAV-MAE-ST则关注低层次的时间同步（例如猫张嘴动作与叫声的精确对齐）。该编码器在多个benchmark上提升了音画同步精度。

• 模态鲁棒训练策略： 训练过程中随机丢弃部分模态（如随机屏蔽视频帧或文本），迫使模型学习从任意可用模态中提取信息。同时采用统一多模态表示对齐（REPA）目标，使得不同模态组合下的输出语义一致性显著提升。这保证了模型在输入不完整（如仅有视频无文本）时仍能合理生成音效。

3. 如何使用

1. 获取开源资源： 访问ControlFoley GitHub仓库（https://github.com/xiaomi-research/controlfoley），下载完整代码仓库和预训练模型权重。官方HuggingFace模型库（https://huggingface.co/YJX-Xiaomi/ControlFoley）也提供了可直接加载的权重文件。同时，可以在项目官网（https://yjx-research.github.io/ControlFoley_web_page/）体验在线Demo，快速了解效果。

2. 环境配置与依赖安装： 推荐使用Python 3.8+环境，建议在配备NVIDIA GPU（至少16GB显存，推荐A100或RTX 4090）的Linux系统上运行。根据仓库根目录下的requirements.txt安装依赖，包括PyTorch 2.0+、torchaudio、transformers、opencv-python等核心库。注意需要安装decord用于视频解码，以及vocoder相关组件（如HiFi-GAN）。建议使用conda创建独立环境，避免版本冲突。

3. 选择任务模式： 在运行推理脚本前，根据创作需求确定任务类型。脚本主入口为run_inference.py，通过--task参数指定模式：tv2a（文本引导）、tc_v2a（文本控制）或ac_v2a（参考音频控制）。不同任务模式对输入文件的要求不同，需提前组织好数据。

4. 准备输入条件： 对于所有模式，必须提供视频文件（支持mp4、avi等常见格式，建议分辨率不超过1080p）。对于TV2A和TC-V2A模式，还需提供文本提示（通过--text参数传入字符串或文本文件路径）。对于AC-V2A模式，需提供参考音频文件（wav或mp3，采样率建议16kHz）。注意：TC-V2A模式要求文本与画面语义冲突才能体现其优势，若文本与画面一致则退化为TV2A。

5. 执行生成推理： 运行命令示例：python run_inference.py --task tv2a --video demo.mp4 --text "轻柔的钢琴声" --output_dir results。模型会先对视频进行帧采样（默认每秒8帧），然后通过CAV-MAE-ST编码器提取时空特征，再经由扩散模型生成对应长度的音频。推理时间取决于视频长度和GPU性能，通常10秒视频在A100上约需30秒。

6. 导出与后处理： 生成完成后，结果保存在--output_dir指定的目录中，包含生成的.wav音频文件。模型内部通过VAE Decoder和Vocoder（HiFi-GAN）将潜空间特征转换为波形。建议使用FFmpeg或专业视频编辑软件将生成的音频与原始视频合成。注意：生成的音频长度与视频长度严格对齐，无需手动调整。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果创作场景需要精确控制音效风格（例如品牌广告需要统一音色），ControlFoley的AC-V2A模式是唯一选择，其他竞品均不支持参考音频控制。若主要需求是快速为短视频添加基础配音且文本与画面语义一致，MMAudio或HunyuanVideo-Foley即可满足，部署更轻量。对于需要处理文本与画面冲突的高级创作者（如动画配音），ControlFoley的TC-V2A模式提供了最高级别的可控性，而FoleyCrafter在这方面表现中等。综合来看，ControlFoley在可控性和同步精度上全面领先，适合对音画质量有高要求的专业用户。

6. 编辑点评

ControlFoley在技术创新性上表现突出，尤其是CAV-MAE-ST时空编码器与时间-音色解耦的结合，解决了V2A领域两个长期痛点：一是文本与视觉语义冲突时的控制问题，二是参考音频引入时对视频节奏的破坏。相比MMAudio和HunyuanVideo-Foley仅支持基础TV2A，ControlFoley统一了三种控制模式，这在开源模型中尚属首次。从实用价值看，该模型直接降低了视频音效制作的专业门槛——创作者无需掌握音频编辑技能，仅通过文本或参考音频即可生成同步音效，尤其适合短视频、自媒体等高频内容生产场景。不过，其较高的硬件要求（推荐A100）限制了普及性，且中文支持需要社区进一步优化。适用人群包括：AI内容创作者、影视后期从业者、游戏音效设计师、以及多模态研究者。未来发展潜力巨大：随着端侧推理优化和轻量化版本推出，有望集成到手机、智能设备中，实现实时音效生成。

7. 应用场景

• 短视频创作： 创作者为无声素材添加定制化音效时，可通过文本提示（如“轻快的电子乐”）生成与画面节奏匹配的音频。若想统一系列视频的音色风格，可使用参考音频控制模式，快速复制之前视频的音效质感，避免每次手动调整。

• 动画与游戏音效设计： 为角色动作生成特定风格的打击声或环境音。例如，动画中角色敲击木门，但文本指令要求生成“金属撞击声”，TC-V2A模式会忽略画面语义，在每个敲击点生成金属声。游戏开发者也可用参考音频将普通脚步声替换为机器人机械音。

• 影视后期配音： 在电影或剧集后期制作中，需要为不同场景统一音效风格。通过AC-V2A模式，将一段参考音频（如特定年代的留声机音色）应用于多个场景，保持作品的声音一致性。同时，CAV-MAE-ST编码器确保了音画同步精度，减少手动调整工作量。

• 广告营销： 品牌广告常需根据文本指令快速生成与品牌调性匹配的同步配音。例如，输入“奢华、低沉的大提琴声”，模型会根据画面节奏生成对应音效，强化情绪表达。参考音频控制可用于复制竞品或自身经典广告的音色，实现风格迁移。

• 自媒体直播切片： 主播在直播后需要将精彩片段制作成短视频，但直播原始音频可能包含杂音。使用ControlFoley的TV2A模式，根据画面内容（如欢呼、鼓掌）生成纯净音效，提升内容完成度。多模态鲁棒训练保证了即使只有视频输入，模型也能合理生成背景音。

8. 常见问题FAQ

Q：ControlFoley对视频分辨率有要求吗？
A：推荐使用不超过1080p的视频。模型内部会对视频帧进行缩放（默认处理为256×256），过高分辨率会增加解码时间但不会提升生成质量。对于4K视频，建议先降采样再输入。

Q：生成的音频时长是否与视频完全一致？
A：是的。模型通过CAV-MAE-ST编码器获取视频帧的时间戳，然后生成对应长度的音频。音频采样率固定为16kHz，时长与视频精确对齐，无需后期拉伸。

Q：TC-V2A模式下，文本指令与画面冲突时，模型如何保证时间同步？
A：CAV-MAE-ST编码器负责提取视频中的动作节奏（如敲击频率、运动幅度），这些节奏信息被编码为时间条件。文本指令仅影响音色和语义内容，而时间条件强制生成音频与动作点对齐。因此即便文本与画面语义冲突，音效仍会出现在正确的动作时刻。

Q：可以用中文文本提示吗？效果如何？
A：可以，但效果不如英文。模型训练数据主要来自英文数据集（如VGGSound），中文语义理解能力有限。建议使用简单的中文描述（如“下雨声”），复杂指令可能被误解。社区正在推进中文微调版本。

Q：如何将生成的音频与视频合成？
A：推荐使用FFmpeg命令行：ffmpeg -i video.mp4 -i generated.wav -c:v copy -c:a aac -map 0:v:0 -map 1:a:0 output.mp4。也可以使用Adobe Premiere、剪映等视频编辑软件直接导入音轨。

Q：模型推理速度如何？能否用于实时直播？
A：在A100 GPU上，10秒视频约需30秒推理时间。当前版本无法满足实时要求（<1秒），更适合离线制作。未来轻量化版本或通过TensorRT优化可能实现实时推理。

9. 项目地址

• 项目官网（含在线Demo）： https://yjx-research.github.io/ControlFoley_web_page/
• GitHub仓库（代码与文档）： https://github.com/xiaomi-research/controlfoley
• HuggingFace模型库（预训练权重）： https://huggingface.co/YJX-Xiaomi/ControlFoley
• arXiv技术论文： https://arxiv.org/abs/2604.15086