Wan-Dancer – 阿里通义开源的人像舞蹈视频生成模型

1. Wan-Dancer是什么

Wan-Dancer 是阿里通义万相开源的音乐驱动人像舞蹈视频生成模型，用户仅需提供一张单人正面照片和一段音乐，即可自动生成节奏精准、动作流畅且风格鲜明的舞蹈视频。该模型首次突破分钟级时序生成瓶颈，支持输出 15 秒至 3 分钟的 720p/30fps 超长连贯视频，覆盖中国古典舞、韩舞、街舞、踢踏舞和拉丁舞五种舞种，并允许通过 LoRA 技术进行个性化舞蹈风格定制。Wan-Dancer 在长序列一致性、节拍对齐和身份保持方面表现出色，为舞蹈内容创作、虚拟偶像表演和编舞辅助等场景提供了高效的技术方案。

技术定位与领域： Wan-Dancer 属于生成式人工智能中的视频生成分支，聚焦于音乐驱动的人像舞蹈合成。其独特之处在于采用分层解耦的双 DiT（Diffusion Transformer）架构，将全局动作规划与局部细节细化分离，解决了传统模型在长视频生成中常见的时序漂移和动作重复问题，定位为面向专业创作和个性化定制的开源舞蹈生成工具。

研发背景： 该模型由阿里通义万相团队开发，依托阿里巴巴在计算机视觉和多模态理解领域的深厚积累。研发动机源于当前舞蹈视频生成模型普遍受限于短时长（通常不超过 20 秒）、动作单一且节拍对齐不精确的痛点，旨在通过创新的架构设计实现分钟级高质量舞蹈视频的稳定生成。

核心价值： Wan-Dancer 的核心价值在于将舞蹈视频生成从“短片段实验”推进到“分钟级可用”阶段，使得非专业用户也能快速产出风格多样的舞蹈内容。同时，LoRA 个性化定制能力降低了动作风格复刻的门槛，为舞蹈教学、虚拟 IP 运营和创意预演提供了可落地的技术基础。

技术特点： 模型采用全局 DiT 与局部 DiT 级联的架构，全局模块基于完整音乐结构规划关键帧骨架，局部模块负责帧间动作细化与过渡平滑。动态帧率适配技术通过 RoPE 将绝对时间信息映射到生成过程，确保任意时长音乐与舞蹈动作精确同步；光流损失函数进一步增强了快速旋转和复杂步法场景下的运动连续性。

2. 主要功能

• 音乐驱动舞蹈生成： 输入人物照片与音频文件，模型自动解析音乐节拍、节奏和风格，生成与音乐高度同步的舞蹈视频。系统内置专用 Music Encoder 提取音乐特征，并通过交叉注意力机制注入生成过程，实现节拍级别的精准对齐，用户无需手动标注节奏点。

• 分钟级长视频生成： 突破传统舞蹈生成模型 20 秒左右的时长限制，支持稳定输出 15 秒至 3 分钟的连贯视频。通过分层解耦架构，全局 DiT 规划长时动作骨架，局部 DiT 填充细节，有效避免了长序列中的姿态漂移和内容重复，在 720p/30fps 分辨率下保持视觉一致性。

• 多风格舞蹈覆盖： 原生支持中国古典舞、K-Pop、街舞、踢踏舞和拉丁舞五种风格差异显著的舞种。用户可通过提示词或预设风格标签切换，模型在训练中针对不同风格的动作特征分别建模，生成结果在肢体幅度、节奏模式和动作质感上呈现明显区分。

• LoRA 个性化定制： 仅需收集少量特定舞蹈视频片段（约 10–20 秒），即可训练专属的 LoRA 权重，实现同款舞蹈动作的复刻。该功能适用于品牌 IP 定制、舞蹈教学示范和虚拟角色专属动作库构建，训练过程在消费级 GPU 上即可完成。

• 关键帧二次编辑： 全局阶段生成的关键帧支持手动修改，用户可调整特定姿态、更换服装或修改动作轨迹。局部细化阶段会基于修改后的关键帧重新生成过渡帧，实现精细的动作级控制，为专业创作者提供更高灵活度。

• 动态帧率适配： 引入旋转位置编码（RoPE）将绝对时间信息映射到生成过程的每一步，使得模型能够根据输入音乐的实际时长自动调整帧率分布。无论音乐是 15 秒还是 3 分钟，舞蹈动作的节奏密度和时序关系都能保持自然连贯，消除了传统方法中时间缩放导致的动作变形。

3. 如何使用

1. 环境要求与前置条件： 推荐使用配备 NVIDIA A100（80GB）或更高显存 GPU 的 Linux 系统，PyTorch 版本 ≥2.0，CUDA ≥11.8。本地部署需确保已安装 Git、Python 3.10 及以上版本，并具备至少 100GB 可用磁盘空间用于存储模型权重（14B 参数）。Windows 用户可通过 WSL2 或 Docker 环境运行。

2. 在线体验（快速入门）： 访问魔搭创空间（ModelScope Studio）页面，上传一张 9:16 竖屏单人正面照片（建议分辨率 720×1280 以上）和一段 10–30 秒的 MP3/WAV 音乐文件。选择目标舞种后点击“生成”，系统将在 5–15 分钟内输出舞蹈视频。该方式适合快速验证效果，无需任何本地配置。

3. 本地部署与推理： 克隆 GitHub 仓库（git clone （链接待官方发布后更新） install -r requirements.txt）。通过 ModelScope 下载 14B 权重（约 28GB），依次运行全局关键帧推理脚本（python run_global.py --config configs/global.yaml）和局部时序细化脚本（python run_local.py --config configs/local.yaml）。注意全局阶段生成约 64 帧关键帧，局部阶段将其细化为完整视频，总推理时间取决于视频长度和 GPU 性能。

4. DiffSynth-Studio 集成推理： 安装 DiffSynth-Studio 库后，通过 Python API 调用 WanVideoPipeline。加载全局与局部模型配置，设置参考图像路径、音乐文件路径、关键帧掩码参数以及输出分辨率。该方式支持批量处理和更灵活的参数调整，适合需要集成到现有工作流的开发者。示例代码可在项目 GitHub 的 examples/ 目录中找到。

5. 关键配置与注意事项： 生成 3 分钟视频时，建议将全局关键帧数量设为 128 帧，局部细化步数设为 50 步以获得最佳质量。LoRA 训练需准备 10–20 秒的同一舞种视频，使用 train_lora.py 脚本，学习率设为 1e-4，训练 2000 步。注意人物照片背景应简洁，避免多人或遮挡，否则可能影响身份保持效果。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要生成分钟级高质量舞蹈视频且要求音乐节拍精确对齐的创作者，Wan-Dancer 是最优选择，其分层解耦架构和动态帧率适配能力在同类型工具中具备明显优势。若仅需生成短片段（4–5 秒）且对音乐同步要求不高，MuseDance 的端到端 U-Net 架构在推理速度上更快，但输出分辨率和时长受限。对于以人物动画为主要需求（如虚拟角色动作生成）但不要求音乐驱动的场景，Animate Anyone 的身份保持和姿态控制能力成熟，且社区生态更完善，但需要额外提供姿态序列作为输入，自动化程度不如 Wan-Dancer。MagicAnimate 在短片段动画生成上表现均衡，但缺乏音乐理解能力，更适合作为视频插帧或动作迁移工具使用。总体而言，Wan-Dancer 在舞蹈生成这一垂直领域的功能完整性和技术先进性上领先，但用户需权衡其较高的硬件需求和相对陡峭的学习曲线。

6. 编辑总结

Wan-Dancer 在音乐驱动舞蹈视频生成这一细分方向上做出了具有实际意义的创新。其分层解耦双 DiT 架构并非简单的模块堆叠，而是针对长视频生成中“全局一致性”与“局部细节丰富性”这对核心矛盾的系统性解决方案——全局 DiT 负责在分钟级时间尺度上规划动作骨架，局部 DiT 则专注于帧间过渡的物理合理性，这种分工使得模型在 3 分钟时长下依然能保持动作逻辑的连贯与视觉质量的稳定，避免了传统扩散模型在长序列中常见的姿态衰退和内容重复。在技术实现层面，RoPE 动态帧率适配和光流损失函数的引入，分别从时间同步和运动平滑两个维度提升了生成结果的可用性，这些设计思路对于同领域的研究具有参考价值。

从实用价值来看，Wan-Dancer 将舞蹈视频生成从“实验性片段”推进到“可落地内容”阶段。15 秒至 3 分钟的生成范围覆盖了短视频平台的主流内容长度，720p/30fps 的输出规格也达到了商用基础门槛。LoRA 个性化定制功能进一步降低了动作风格复刻的成本，使得品牌 IP、虚拟偶像运营和舞蹈教学等场景能够快速获取定制化素材。不过，模型对硬件资源的要求较高（推荐 A100 级别 GPU），且推理流程相对复杂，这在一定程度上限制了其在个人创作者群体中的普及。未来若能推出轻量化版本或提供更高效的推理优化，其应用边界将进一步拓宽。

适用人群方面，Wan-Dancer 最适合具备一定技术背景的内容创作者、虚拟 IP 运营团队和舞蹈教育机构。对于普通短视频用户，在线体验平台提供了低门槛的试用入口，但本地部署和 LoRA 训练仍需要一定的工程能力。在技术发展趋势上，Wan-Dancer 展示出的分层规划与细化范式有望被推广到更广泛的视频生成任务中（如动作类游戏角色动画、体育教学视频等）。随着开源社区的持续贡献和模型权重的优化，其推理效率和舞种覆盖范围有望得到改善，从而在 AI 舞蹈生成领域形成更稳固的技术壁垒。

7. 应用场景

• 短视频内容创作： 创作者上传一张人物照片和一段流行音乐，即可快速生成与音乐节奏同步的舞蹈视频，用于抖音、快手、小红书等平台的内容发布。无需真人出镜，也无需专业的编舞和拍摄设备，即可实现风格多样的舞蹈内容量产，特别适合虚拟形象运营和匿名内容创作。

• 虚拟偶像与数字人表演： 虚拟偶像运营团队可使用 Wan-Dancer 为角色定制特定舞种的连贯表演素材，作为直播暖场、虚拟演唱会片段或日常短视频内容。相比传统动作捕捉或手工动画，生成成本大幅降低，且输出时长足以支撑完整的歌曲表演。

• 舞蹈教学与编舞辅助： 舞蹈教师可利用模型的节拍对齐和关键帧预览功能，将一段音乐自动生成对应的舞蹈动作序列，作为教学示范的参考视频。同时，通过修改关键帧调整特定动作的幅度和节奏，辅助设计编舞方案，提升教学效率。

• 广告与影视预演： 导演和创意团队在拍摄前，使用 Wan-Dancer 快速生成分镜级别的舞蹈镜头预览，验证舞蹈编排与音乐节奏的配合效果，以及不同舞种风格在画面中的视觉呈现。这有助于在正式拍摄前快速迭代创意方案，降低试错成本。

8. 常见问题FAQ

Q：Wan-Dancer 对输入照片有什么要求？
A：建议上传 9:16 竖屏单人正面照片，分辨率不低于 720×1280，背景简洁、人物完整无遮挡。照片中人物的面部和身体轮廓应清晰可见，避免侧面、低头或多人合照，否则可能影响身份保持和动作生成的准确性。

Q：生成一段 3 分钟视频需要多长时间？
A：在 NVIDIA A100（80GB）GPU 上，全局关键帧推理约需 3–5 分钟，局部时序细化约需 10–20 分钟，总计约 15–25 分钟。若使用消费级显卡（如 RTX 4090），时间可能延长至 40–60 分钟。在线体验平台由于资源限制，通常生成 30 秒视频需 5–10 分钟。

Q：是否支持自定义音乐以外的音频格式？
A：目前支持 MP3、WAV 和 FLAC 格式，采样率建议为 44100Hz 或 48000Hz。模型对音乐风格没有严格限制，但节奏清晰、节拍明显的音乐（如流行、电子、舞曲）生成效果更佳。纯人声或节奏模糊的音频可能导致动作与音乐不同步。

Q：LoRA 训练需要多少数据？需要什么硬件？
A：训练专属 LoRA 权重需准备 10–20 秒的同一舞种视频片段，视频中人物动作应完整且无频繁遮挡。硬件方面，建议使用至少 16GB 显存的 GPU（如 RTX 4080），训练 2000 步约需 30–60 分钟。训练数据需预处理为 720p/30fps 格式，并提取对应的音乐文件。

Q：生成的人物身份特征会随视频时长发生变化吗？
A：Wan-Dancer 通过全局关键帧锚定约束和 VAE 编码，在长序列中身份保持能力较强。但在极端动作（如快速旋转、弯腰）或复杂光照条件下，可能出现轻微的面部细节变化。建议输入照片的人物表情中性、光照均匀，并避免使用带有夸张妆容或饰品的照片。

Q：如何修改生成视频中的动作细节？
A：用户可以在全局关键帧阶段导出骨架序列，使用图像编辑工具修改特定帧的姿态（如调整手臂角度、更换服装颜色），然后重新运行局部细化脚本。项目提供了关键帧可视化与导出工具，但需要一定的编程基础。更简便的方式是通过 LoRA 训练调整整体动作风格。

9. 项目地址

• 项目官网：https://humanaigc.github.io/wan-dancer-project/
• GitHub 仓库：https://github.com/Wan-Video/Wan-Dancer
• HuggingFace 模型库：https://huggingface.co/Wan-AI/Wan-Dancer-14B
• arXiv 技术论文：https://arxiv.org/pdf/2607.09581
• 魔搭创空间在线体验：https://www.modelscope.cn/studios/Wan-AI/Wan-Dancer