WeMM-Embedding：腾讯开源的通用多模态 Embedding 模型

腾讯微信视觉团队开源的 WeMM-Embedding，把文本、图像、视频统一编码进同一个向量空间。做内容检索、推荐召回或 Agent 记忆的团队可以直接用。它已经在微信视频号、公众号、朋友圈和电商里大规模部署，不是实验室项目。需要音频输入的场景目前不适合。

模型规格与输入

WeMM-Embedding 有 2B、4B、9B 三个规格，权重和代码都已开源。GitHub 仓库在 Tencent/WeMM-Embedding，Hugging Face 上有模型集合，技术报告在 arXiv（2608.24053）。输入支持文本、图像、视频、视觉文档和任意交错的多模态内容，输出统一到同一个向量空间。你可以用一段文字检索视频，用一张图匹配文档，或者把图文交错的内容整体编码成一个向量。

技术方案与输出维度

骨干是 Qwen3.5 多模态大语言模型。输入序列末尾追加 <embedding> token，取最终层隐藏状态做 L2 归一化，得到向量表示。

训练分两阶段：先用数亿对异构数据建立通用多模态对齐空间，再用硬负样本、重排序器监督和跨尺度 Embedding 蒸馏精炼。

模型用 Matryoshka 表示学习，单次推理能输出 64 到 4096 维的嵌套向量。官方称 256 维能保留近 99% 的全维性能，存储和检索成本可控。但 Hugging Face 模型卡写明 2B 返回 2048 维、9B 返回 4096 维，4B 的默认输出维度不在其中。

在 MMEB 上的表现

MMEB-v2 基准排行榜上，WeMM-Embedding 位列第一，三个规格的均分如下：

技术报告摘要确认，模型已大规模部署在微信视频号、公众号、朋友圈和电商的推荐与搜索场景。公开资料还提到，团队在视频号、公众号、搜索等核心业务做了 14 项 A/B 测试，结果一致提升，已全量上线。

部署与接入

跑起来不复杂：克隆 GitHub 仓库，pip install -r requirements.txt 装依赖，从 Hugging Face 下载权重，然后运行 examples/transformers_inference.py 或 examples/sentence_transformers_inference.py。

生产部署支持 Transformers、Sentence Transformers、vLLM（--runner pooling）和 SGLang（--is-embedding）。官方推荐用 transformers==5.2.0，结果可复现。

选型前要核对的事

官方公开材料没有写全的信息包括：4B 默认输出维度、8B 命名差异、Apache 2.0 许可证、音频输入规划、评测集划分、训练数据规模和硬件要求。4B 的存储和检索成本得按实际返回维度估算。2025 年 12 月的 MMEB-Leaderboard 讨论里出现过 2B 和 8B 的提法，选规格前最好找官方或社区确认。开源协议在公开对比表中显示为 Apache 2.0，但官方仓库和模型卡里没有对应信息，商用前需要核实。音频模态不支持，有音频输入需求的场景当前版本不适用。部署前要自己压测显存占用。

2B 参数最小，9B 最大，具体选哪个看硬件条件；音频输入场景直接排除。

资料来源与项目地址

• GitHub 仓库：https://github.com/Tencent/WeMM-Embedding
• Hugging Face 模型集合：https://huggingface.co/collections/tencent/wemm-embedding
• arXiv 技术报告：https://arxiv.org/pdf/2608.24053