CoinVE-200K – 腾讯开源的大规模组合指令视频编辑数据集

1. CoinVE-200K是什么

CoinVE-200K是由腾讯视频智创团队开源的大规模组合指令视频编辑数据集，包含20万组1080p高清视频编辑样本对，每组样本携带2-5条原子编辑指令，覆盖添加、移除、修改、风格化等操作类型，视频最长可达201帧。项目同步开源了22B参数的CoinVE-Edit编辑模型与CoinVE-Bench评测基准，构建了从数据、模型到评测标准的完整闭环，填补了组合指令视频编辑领域在数据、模型与评测标准上的三重空白。

技术定位与领域： 属于视频生成与编辑领域，聚焦组合指令（Composite Instruction）条件下的视频编辑任务。与传统的单指令编辑数据集不同，CoinVE-200K要求模型在同一段视频中同时理解并执行多条相互关联的编辑指令，这一设定更贴近影视后期、广告制作等真实工业场景中的复杂编辑需求，也推动了视频编辑模型从单意图执行向多意图联合理解的方向演进。

研发背景： 由腾讯视频智创团队研发并开源。该团队在视频内容生产与智能创作方向有长期技术积累，此前已在视频生成、编辑等方向推出多项研究成果。组合指令视频编辑长期面临训练数据稀缺、模型难以精准执行多意图编辑、评测标准缺失三大瓶颈，团队因此构建了覆盖数据、模型与评测的完整开源方案，意图降低该方向的研究与开发门槛。

核心价值： 解决了组合指令视频编辑领域缺乏高质量大规模训练数据的问题。20万组1080p样本对为训练多意图联合编辑模型提供了充足的监督信号；配套的CoinVE-Edit模型实现了单次推理完成多条编辑指令的执行；CoinVE-Bench评测集则为行业提供了标准化的组合编辑性能评估手段。三者共同构成完整的技术栈，研究者无需从零构建数据管线与评估体系。

技术特点： 数据侧采用"原子操作组合+多阶段生成+二次过滤"的自动化构建管线，基于预定义编辑分类体系，利用Qwen3.6-27B分析源视频内容并识别可编辑主体，通过组合多个原子操作生成复合指令；随后借助SAM3/SAM2生成编辑区域掩码，用HunyuanImage-3.0与Nano Banana合成编辑关键帧，再经Wan2.1-Animate或VACE扩散为完整视频，并由Gemini进行二次质量过滤。模型侧引入区域解耦注意力机制，通过Mask Predictor与GateNet实现多指令在对应时空区域的精准绑定，在完成组合编辑的同时保持未编辑区域的时序一致性。

2. 主要功能

• 海量组合编辑数据： 提供20万组1080p组合指令视频编辑样本对，每组样本包含源视频与编辑后视频，支持模型进行多意图联合训练。数据规模在同类型数据集中处于领先水平，为训练大规模视频编辑模型提供了充足的监督信号。

• 多元原子操作覆盖： 涵盖添加、移除、替换、风格化等6种原子编辑操作类型，支持将多个原子操作灵活组合为复合编辑指令。这种设计使模型能够学习不同编辑操作之间的协同关系，而非局限于单一操作模式，有助于提升模型在复杂任务中的泛化能力。

• 全场景目标支持： 编辑目标横跨人物、物体、背景等多类主体，样本覆盖丰富的场景与语义多样性。模型在训练后能够针对不同类型的编辑目标做出准确的区域定位与内容修改，提升在真实场景中的适用性。

• 开箱即用编辑模型： 配套开源22B参数的CoinVE-Edit模型，基于DiT主干架构设计，能够一次性精准执行多条编辑指令。用户可直接加载官方权重进行推理或微调，无需从零训练，大幅降低了使用门槛。

• 系统评测基准： 构建CoinVE-Bench评测集，采用MLLM-based Checklist与专用评估器相结合的框架，覆盖编辑准确性、物理自然度、语义保持、美学质量、技术质量、时序稳定性等4个核心维度共11项细粒度指标，为组合编辑性能提供量化评估手段。

• 严格质量过滤： 数据构建过程中引入Gemini二次质量过滤，从指令遵循度、视觉质量、时序一致性及未编辑区域完整性等多个维度筛选合格样本，确保数据集的整体质量水平，减少低质量样本对模型训练的负面影响。

• 区域解耦编辑机制： CoinVE-Edit通过Mask Predictor预测每条指令的时空编辑区域掩码，结合GateNet动态门控与Q-Blending交叉注意力机制，实现不同编辑意图在对应区域的精准绑定，同时抑制无关区域的干扰并维持时序一致性。

3. 如何使用

1. 环境准备： 安装ModelScope CLI作为数据集下载工具，并准备具备足够存储空间的运行环境。数据集包含视频文件与掩码文件，全量下载需要较大的磁盘容量，建议预留充足空间后再执行下载操作。

2. 下载数据集： 执行 modelscope download 命令拉取数据集，可按需选择全量下载，或仅下载 metadata_coinve200k.jsonl 元数据文件先行试跑，确认数据格式与字段结构后再决定是否全量拉取。

3. 解压分片文件： 数据集以tar分片形式分发，需将分片分别解压至 src_videos、tgt_videos、combined_masks 和 instruction_masks 四个对应目录，保持目录结构与元数据中的路径映射一致，否则后续训练时会出现路径读取错误。

4. 解析元数据： 使用Python读取 metadata_coinve200k.jsonl 文件，获取每条样本的源视频路径、编辑后视频路径以及2-5条组合编辑指令文本，构建训练样本的索引结构。

5. 调用掩码信息： 从元数据中提取 instruction_mask_video_paths 和 combined_mask_video_path 字段，获取各条指令对应的时空编辑区域掩码，用于训练过程中的区域条件注入。

6. 开展模型训练： 将解析后的视频对、组合指令与掩码输入DiT框架，以掩码作为区域条件信号，监督组合指令视频编辑模型的训练与微调。训练时需根据显存容量调整批大小与梯度累积步数。

7. 复现基线结果： 直接加载官方开源的CoinVE-Edit模型权重，在CoinVE-Bench评测集上运行推理，验证组合编辑性能并复现论文报告的结果。

注意事项： 训练组合指令编辑模型对GPU显存要求较高，22B参数规模的模型建议使用多卡并行配置；掩码文件与视频文件需保持路径对应关系，否则会导致训练数据加载错误；建议先使用元数据文件验证数据加载流程，再启动大规模训练任务。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果研究目标聚焦于组合指令视频编辑，即需要模型在同一视频中同时执行多条编辑指令，CoinVE-200K是目前较为合适的选择。其2.55的平均指令数、1080p高分辨率与201帧长视频支持，为训练复杂编辑模型提供了其他数据集不具备的条件，配套的CoinVE-Edit模型与CoinVE-Bench评测集也省去了研究者自行搭建基线系统的成本。

如果研究重点在于更大规模的数据覆盖或更多样化的编辑类型，OpenVE-3M的300万组样本规模和8类编辑操作覆盖更具优势，但其单指令为主的样本结构不适合组合编辑场景。ReCo-Data则适合资源有限的团队进行轻量级模型训练，但缺少专用评测集，需要研究者自行构建评估方案。

6. 编辑总结

CoinVE-200K的发布为组合指令视频编辑这一细分方向提供了系统性的基础设施。从技术创新性来看，项目在数据构建层面设计了"原子操作组合+多阶段生成+二次过滤"的自动化管线，解决了组合指令训练数据难以规模化生产的问题；在模型层面，区域解耦注意力机制通过掩码预测与动态门控实现了多指令的精准空间绑定，这种设计思路对多条件控制生成任务具有参考价值。

从实用价值来看，数据、模型、评测三位一体的开源形式显著降低了该方向的研究门槛。研究者可以直接基于CoinVE-Edit进行微调，或使用CoinVE-Bench对自有模型进行标准化评估，避免了重复构建基础设施的成本。在组合指令编辑准确性上对Seedance 2.0、Kling O3等闭源方案的超越，也验证了开源路线在该任务上的可行性。

适用人群方面，该数据集适合视频生成与编辑方向的研究人员、从事影视后期与广告制作的工业用户，以及需要高质量视频编辑训练数据的AI开发团队。随着组合指令编辑需求的增长和更多研究者的参与，这一方向有望在数据规模、编辑精细度和评测体系上进一步完善，推动视频编辑模型向更复杂的工业场景落地。

7. 应用场景

• 影视后期制作： 导演或后期人员通过自然语言组合指令一次性完成多元素替换、背景修改与画面风格迁移等操作，大幅缩短传统逐帧编辑的流程周期，提升后期制作效率。

• 广告内容迭代： 品牌方对同一视频素材快速执行人物换装、产品替换与背景调整等批量组合编辑，快速生成多个版本的广告素材用于A/B测试，降低重新拍摄的成本。

• 短视频创作： 创作者输入多条编辑意图，一键实现人物移除、物体添加与画面风格化等复杂效果，无需掌握专业视频编辑软件，降低内容创作的专业门槛。

• AI模型训练： 作为高质量监督数据，用于训练组合指令视频编辑大模型，提升模型对多意图联合理解与精准执行能力，也可作为微调数据增强已有编辑模型的表现。

• 评测基准研究： 为学术界提供标准化的CoinVE-Bench评测集，系统评估视频编辑模型在组合指令遵循、物理自然度与视觉质量上的表现，推动评测方法的规范化。

8. 常见问题FAQ

Q：CoinVE-200K与其他视频编辑数据集的核心区别是什么？
A：核心区别在于组合指令设计。CoinVE-200K的每条样本包含2-5条原子编辑指令，要求模型在同一视频中联合执行多条编辑操作，而OpenVE-3M、ReCo-Data等数据集以单指令样本为主。此外，CoinVE-200K提供1080p高分辨率与最长201帧的视频样本，并配套22B模型与专用评测集，形成了完整的开源闭环。

Q：如何下载CoinVE-200K数据集？
A：数据集通过ModelScope平台分发，需要先安装ModelScope CLI，然后执行 modelscope download 命令拉取。支持全量下载，也可以仅下载 metadata_coinve200k.jsonl 元数据文件先行查看数据格式。GitHub仓库与HuggingFace页面提供了详细的使用说明。

Q：CoinVE-Edit模型需要什么样的硬件配置才能运行？
A：CoinVE-Edit拥有22B参数，属于大规模视频编辑模型，推理和训练都需要较高的GPU显存。具体配置建议参考官方仓库的说明，一般情况下需要多卡并行配置才能获得可用的推理速度，消费级显卡难以直接运行。

Q：数据集和模型的许可协议是什么？
A：项目以开源形式发布，具体许可协议以官方GitHub仓库和HuggingFace页面公布的信息为准。数据集、模型权重与评测集的授权范围可能有所不同，使用前建议仔细阅读各渠道的许可说明。

Q：能否使用CoinVE-200K训练自己的视频编辑模型？
A：可以。数据集提供了源视频、编辑后视频、组合指令及对应的时空编辑区域掩码，用户可以将这些数据输入自建的DiT框架进行训练或微调。元数据文件中的 instruction_mask_video_paths 和 combined_mask_video_path 字段提供了掩码路径信息，便于训练时的区域条件注入。

Q：CoinVE-Bench评测集如何评估模型性能？
A：CoinVE-Bench采用双轨互补的评测框架：MLLM-based Checklist利用Gemini 3.6 Flash从编辑准确性、物理自然度、语义保持三个维度评估指令遵循正确性；专用评估器借助Aesthetic Predictor、DOVER++、VisualQuality-R1及光流场分别衡量美学质量、技术质量、综合质量与时序稳定性，共覆盖4个核心维度11项指标。

9. 项目地址

1. 项目官网： https://coinve200k.github.io/
2. GitHub仓库： https://github.com/coinve200k/CoinVE-200K
3. HuggingFace模型库： https://huggingface.co/datasets/FireCRT/CoinVE-200K
4. arXiv技术论文： https://arxiv.org/pdf/2608.17566