HOMIE – 香港科技大学开源的数字人视频生成框架

1. HOMIE是什么

HOMIE是由香港科技大学计算机科学与工程系开源的数字人视频生成框架，基于阿里Wan2.1-T2V-14B骨干网络并集成Qwen3-VL多模态大模型。该框架能够在一个统一管线中同时处理数字人、商品、Logo、文字四类视觉元素，解决人‑物交互、品牌贴牌、OCR文字保真和多视角一致性四大技术难题。模型训练仅需约5.5K步/1万A100小时，OCR准确率比开源最强模型提升38.7%，支持480P单卡到720P多卡推理，显著降低电商带货、虚拟主播等场景的视频制作门槛。

技术定位与领域： HOMIE属于多模态视频生成领域，聚焦于可控数字人视频生成中的多主体协同与语义理解。区别于传统仅关注面部动画的数字人框架，HOMIE将商品、Logo、文字等非人元素作为一等公民纳入生成过程，实现从“数字人说话”到“数字人带货”的能力跃升。

研发背景： 项目由香港科技大学YIYANGCAI团队主导，依托学校在计算机视觉与多模态学习领域的长期积累。研究动机来自电商和品牌营销场景对“数字人+商品+品牌元素”一体化视频的迫切需求——现有方法要么无法处理多主体交互，要么需要为不同任务切换独立模型，效率低下。

核心价值： HOMIE解决了数字人视频生成中“人‑物脱节、品牌元素丢失、文字模糊”三大痛点。通过一个框架统一四要素生成，电商从业者无需再分别制作数字人视频、商品展示动画和Logo贴片，可直接用文本提示词驱动完整带货视频，制作周期从数天缩短至分钟级。

技术特点： 采用“Wan2.1骨干+Qwen3-VL推理+三阶段渐进训练”架构，在不破坏原有文生视频对齐关系的前提下注入多模态语义。全局多模态自注意力引导（GMG）和模态‑参考嵌入（MRE）两项创新机制，确保多主体外观一致性和语义正确贴附，训练步数仅为同类方法的1/5至1/10。

2. 主要功能

• 人‑物交互视频个性化： 支持多个人物与多种物体同时出现在同一视频中，通过参考图像约束各主体外观，并生成自然的交互动作（如手持、展示、传递）。用户只需提供人物照片和商品图，即可生成指定动作的带货片段，无需逐帧手绘或后期合成。

• Logo/抽象概念精准贴附： 利用Qwen3-VL多模态大模型的语义推理能力，自动将品牌Logo等抽象视觉元素贴附到视频中语义最相关的物体上。用户无需在提示词中显式描述Logo位置，模型会根据“可乐瓶→瓶身”、“手机→背面”等常识自动完成贴附。

• OCR文字高保真生成： 配合OCR参考图，确保产品包装、标签上的文字在生成视频中清晰可读、不模糊、不串字。在开源评估中OCR准确率达0.452，比此前最强模型提升38.7%，有效解决AI视频生成中文字“糊成一团”的行业难题。

• 多视角一致性生成： 给定同一物体的多视角参考图（如正面、侧面、背面），当物体在视频中发生旋转或运动时，能保持一致的外观和细节。该功能对手办、3D模型、玩偶等展示场景尤为重要，多视角一致性指标DINOrec达0.685，比同类方法提升8.2%。

• 多模态语义理解与融合： 在DiT自注意力层中引入全局多模态自注意力引导（GMG），将Qwen3-VL提取的语义特征与VAE视觉token进行全局对齐。每个视频生成token都能“看到”所有参考图的全局语义信息，从而准确理解人物、商品、Logo之间的潜在关系。

• 三阶段渐进训练策略： 训练分为单主体480P→多主体480P→高清720P三个阶段，总计仅5.5K步完成。相比同类方法通常需要的3‑4万步，训练效率提升5‑10倍，大幅降低研发成本。该策略也使得模型在低分辨率阶段快速收敛，高分辨率阶段精细调整。

• 灵活推理与多分辨率输出： 支持单卡GPU生成832×480分辨率视频，多卡FSDP可扩展至1280×720高清竖屏输出。用户可根据自身算力选择480P或720P，输出格式直接适配抖音、快手等短视频平台，无需二次转码。

3. 如何使用

1. 环境准备： 从GitHub克隆HOMIE代码仓库（git clone https://github.com/YIYANGCAI/HOMIE.git），创建Python 3.10虚拟环境，安装requirements.txt中的依赖。推荐使用NVIDIA A100（40GB）或更高配置GPU，显存建议≥24GB；单卡480P推理至少需要24GB显存，720P多卡推理建议配备4×A100。

2. 权重下载： 从HuggingFace模型库（yychai/homie-r2v-wan2.1）下载官方预训练权重，放置到checkpoints/目录。权重文件约14GB，包含Wan2.1骨干的微调参数和Qwen3-VL适配层。

3. 素材准备： 准备参考图像：人物正面照（建议512×512以上）、商品多角度图（至少一张主图）、Logo/文字参考图（透明背景PNG优先）。所有参考图需按官方格式命名并放入reference/子目录，同一主体的多视角图需添加视角标签（如product_front.jpg、product_back.jpg）。

4. 提示词编写： 编写文本提示词，格式为“主体动作+场景描述+交互细节”。例如：“一个年轻女性右手拿着一瓶红色包装的饮料，面对镜头微笑，饮料瓶上的品牌文字清晰可见”。提示词中无需描述Logo位置，模型会自动贴附。

5. 运行推理： 执行python inference.py --prompt "你的提示词" --person_image person.jpg --product_image product.jpg --logo_image logo.png。单卡默认输出832×480视频；如需720P，添加--resolution 1280 720并配合--fsdp启用多卡并行。

6. 结果输出： 生成视频保存在output/目录，格式为MP4，帧率默认24fps。用户可使用--num_frames控制视频长度（默认81帧，约3.4秒），--seed固定随机种子以复现效果。

注意事项： 首次推理需加载约14GB权重，耗时1‑3分钟；后续推理约30‑60秒/视频。若显存不足，可降低--num_frames或使用--half启用FP16推理。建议先使用官方提供的示例素材测试管线，再替换自有素材。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于电商带货和品牌营销场景，HOMIE是当前开源方案中最优选择，其统一四要素框架和领先的OCR/多视角能力直接解决行业痛点。SkyReels-V3功能类似但训练成本更高、OCR细节稍逊，适合已有自研视频模型基础的团队进行二次开发。MuseTalk和Sadtalker专注于面部动画驱动，无法处理商品和Logo，但推理速度快、硬件要求低，适用于仅需数字人面部表情的直播或对话场景。若项目需要同时保证数字人身份一致性和商品展示，HOMIE是唯一覆盖全链路的框架；若仅需快速部署数字人说话，可考虑MuseTalk等轻量方案。

在学术研究中，HOMIE的三阶段渐进训练策略和MLLM无损集成方法具有借鉴价值，适合作为多模态视频生成的基础框架进行改进。对于中小团队，Apache 2.0协议和低训练成本使得HOMIE可快速落地，但需准备A100级算力。

6. 编辑总结

HOMIE在技术架构上实现了关键创新：通过全局多模态自注意力引导（GMG）和模态‑参考嵌入（MRE），在不破坏文生视频对齐关系的前提下，将多模态大模型的语义推理能力注入DiT骨干。这一设计避免了昂贵的重对齐训练，使得模型能够同时理解人物、商品、Logo、文字之间的语义关联，并生成符合物理常识的交互动作。从实际效果看，OCR准确率提升38.7%、多视角一致性提升8.2%并非微调改进，而是架构级突破——GMG让每个视频token都能感知参考图的全局语义，MRE则通过独立嵌入防止多主体信息混淆。训练仅需5.5K步，验证了该架构的高效性，也为资源受限的团队提供了可复现的基线。

从实用价值看，HOMIE直接瞄准电商和品牌营销的刚需：一个框架替代了“数字人合成+商品动画+Logo贴片+文字渲染”的多工具流水线，将制作周期从数天压缩到分钟级。1280×720竖屏输出适配短视频平台，进一步降低了分发成本。对于虚拟主播、产品展示等场景，多视角一致性功能解决了传统生成中物体旋转后外观“崩坏”的问题，具有实际商业价值。

适用人群主要包括：电商运营和品牌营销人员（直接使用预训练模型生成带货视频）；AI视频生成研究者和开发者（基于开源代码进行二次开发或学术研究）；中小型MCN机构（利用低训练成本定制专属数字人）。未来发展潜力方面，HOMIE可向三个方向演进：一是支持更长的视频时长和实时推理，满足直播场景；二是增强中文和多语种支持，拓展国际市场；三是集成语音驱动，实现“文本+语音+视觉”全模态控制。目前框架尚处于早期开源阶段，社区贡献和文档完善将决定其生态成长速度。

7. 应用场景

• 电商直播带货： 商家提供产品图、数字人形象和品牌Logo，HOMIE自动生成数字人手持商品做指定动作的带货视频。支持1280×720竖屏输出，可直接上传至抖音、快手等平台，无需后期剪辑。OCR功能确保产品包装上的成分、价格等文字清晰可读，避免审核风险。

• 品牌广告制作： 营销人员只需输入广告文案和品牌Logo，HOMIE自动将Logo贴附到视频中最相关的物体上（如饮料瓶身、电子产品外壳）。无需在提示词中指定位置，模型通过多模态语义理解实现智能贴附，生成的广告视频在品牌元素呈现上更自然、更统一。

• 虚拟主播/数字人内容生产： 为虚拟主播提供统一身份形象，同时支持与多种商品进行自然交互。例如，虚拟主播可以在同一视频中先后展示手机、耳机、充电宝，各商品保持外观一致，主播动作连贯，适合直播预告、产品测评等场景。

• 产品多视角展示： 给定手办、3D模型或玩偶的多视角参考图（正面、侧面、背面），HOMIE生成物体旋转展示视频，各角度外观保持一致。适用于电商商品详情页、众筹项目宣传片，无需拍摄实物即可获得多角度展示素材。

• 包装文字保真输出： 配合OCR参考图，确保食品、化妆品、保健品等产品包装上的文字在生成视频中清晰可读。解决了传统AI视频生成中文字模糊、变形、乱码的问题，适用于需要展示成分表、使用说明、生产日期的场景。

8. 常见问题FAQ

Q：HOMIE需要什么样的硬件配置才能运行？
A：推理阶段，单卡480P（832×480）输出至少需要24GB显存，推荐NVIDIA A100（40GB）或RTX 4090（24GB）。720P多卡推理建议4×A100。训练阶段，官方使用约1万A100小时完成5.5K步，用户若需微调，建议至少8×A100（40GB）。消费级显卡（如RTX 3090 24GB）可尝试降低分辨率或帧数运行推理，但速度较慢。

Q：HOMIE是否支持中文提示词和中文文字生成？
A：框架基于Wan2.1和Qwen3-VL，对英文场景进行了充分优化和评估。中文提示词理论上可输入，但模型在中文语义理解上的表现尚未公开测试；OCR功能目前主要针对英文文字，中文文字保真效果有待验证。建议用户先使用英文提示词，待后续版本完善中文支持。

Q：HOMIE的训练成本真的那么低吗？是否可以在消费级显卡上复现？
A：官方报告5.5K步/1万A100小时完成训练，远低于同类方法的数万步。但该成本基于A100集群，消费级显卡（如RTX 4090）由于显存和计算能力限制，无法直接复现完整训练流程。用户可尝试使用更小的分辨率（如320P）或减少训练步数进行实验性微调，但效果可能下降。

Q：HOMIE的开源协议是什么？是否可以商用？
A：HOMIE采用Apache 2.0许可证，代码和模型权重完全开源，允许商业使用、修改和再分发，无需额外授权。但需注意，其骨干网络Wan2.1-T2V-14B和Qwen3-VL也分别采用开源协议，需遵守各自条款（均为允许商用）。建议用户在使用前阅读各组件的LICENSE文件。

Q：HOMIE与MuseTalk、Sadtalker等数字人框架有何本质区别？
A：MuseTalk和Sadtalker主要解决音频驱动的面部动画生成，输出仅包含人物面部和上半身，无法处理商品、Logo、文字等非人元素。HOMIE是文本到视频的全景生成框架，可同时控制数字人、商品、品牌元素，输出完整场景视频。在电商带货场景中，HOMIE可直接生成“数字人手持商品展示”的视频，而MuseTalk等需后期合成商品画面。

Q：如何获取HOMIE的预训练权重？是否需要申请？
A：预训练权重已开放至HuggingFace模型库（yychai/homie-r2v-wan2.1），任何人可直接下载，无需申请。权重文件约14GB，包含Wan2.1骨干的微调参数和Qwen3-VL适配层。下载后放置到指定目录即可使用。

9. 项目地址

• 产品官网： https://yiyangcai.github.io/homie-page.github.io
• GitHub仓库： https://github.com/YIYANGCAI/HOMIE
• HuggingFace模型库： https://huggingface.co/yychai/homie-r2v-wan2.1
• arXiv技术论文： https://arxiv.org/pdf/2607.18217