AI 模型库：大模型、Agent 与开发工具
收录并解读主流 AI 模型、Agent 与开发工具的能力、场景与选型对比。
标签：多模态
共 194 篇文章 · 清除标签
Hunyuan3D-Buffalo 1.0 – 腾讯混元推出的 3D 多模态框架
Hunyuan3D-Buffalo 1.0是腾讯混元团队推出的统一3D多模态框架，通过共享的Hunyuan3D-VLM主干，将3D问答、空间定位、文生3D、指令编辑和部件生成等任务集成到单一流程中。该框架支持自然语言理解3D模型结构、定位特定部件、按指令修改局部几何，并能提取具有语义意义的部件，旨在打通3D理解、生成与编辑的闭环，为游戏、动画和工业设计提供可组合的3D资产生产方案。
InstructAV2AV – 智源联合北大开源的音视频联合编辑模型
InstructAV2AV是由北京智源人工智能研究院与北京大学联合开发的开源音视频联合编辑模型。用户只需一句自然语言指令，即可在端到端生成过程中同时编辑视频画面与对应声音，无需手工掩码或分步处理。该模型支持台词修改、人物替换、对象插入与删除等操作，能够在修改目标内容的同时精准保留背景与环境声，并维持编辑后声画的时间同步，为视频后期制作和创意内容生产提供了一种高效的新范式。
JoyAI-Video-Edit – 京东开源的实时流式视频编辑模型
JoyAI-Video-Edit是京东开源自研的实时流式视频编辑模型，基于16B参数的自回归扩散架构，在720P分辨率下实现30FPS的端到端推理速度，支持任意时长的稳定流式编辑。用户可通过自然语言指令在视频播放过程中实时修改人物、场景、风格及物体，无需等待完整视频生成。该模型在OpenVE-Bench评测中超越所有流式编辑方法，各项指标全面领先，同时可为具身智能提供大规模数据合成路径。
SeedRealtime – 字节跳动推出的原生音视频全双工大模型
SeedRealtime是字节跳动Seed团队推出的原生音视频全双工大模型，基于统一架构原生融合音频、视频与文本，实现边看、边听、边说的全模态实时交互。该模型具备音视频联合理解、主动交互与流畅对话节奏三大核心突破，端到端评测显示对话节奏问题较级联模型减少一半。目前已全量上线豆包App，成为业界首个规模化落地的音视频全双工AI产品。
MAGI-2-preview – Sand.ai 开源的多模态视频生成模型
MAGI-2-preview是由Sand.ai开发并开源的多模态视频生成模型，采用混合专家（MoE）架构，总参数量达114B，推理时仅激活6B参数。该模型基于单流Transformer架构，从输入层起即对文本、图像、视频和音频进行统一联合建模，实现原生多模态生成。在AA视频生成榜单中排名第六，代码与预训练权重已通过Apache 2.0协议开源，为视频生成领域的高效扩展探索了新路径。
Shieldstral – Mistral AI 开源的多模态内容安全分类模型
Shieldstral 是 Mistral AI 推出的 3B 参数开源多模态内容安全分类模型，基于 Ministral-3B 构建。该模型将传统固定类别的内容审核重新定义为二元问答任务，支持通过自然语言查询实时定义审核策略，无需重新训练即可适配不同场景。模型在文本安全基准上平均 F1 达 84.9%，多模态安全 F1 达 83.8%，均为当前最优水平，且仅需单张 16GB GPU 即可部署，支持...
Qwen-CUA – 阿里 Qwen 等推出的原生 Computer Use Agent
Qwen-CUA 是由 Qwen 团队与 XLang Lab 联合推出的原生 Computer Use Agent，基于 397B-A17B 混合专家架构，仅通过截图感知界面状态，无需依赖 DOM 树或辅助功能元数据，直接输出键盘和鼠标事件操控浏览器、桌面应用及专业软件。在 OSWorld-Verified 基准上取得 86.2 分，更大版本 Qwen-CUA-Max 参数量超万亿，达到 87.6...
SenseNova U1.5-Lite-Preview – 商汤开源的轻量多模态模型
SenseNova U1.5-Lite-Preview 是商汤科技开源的轻量级原生统一多模态模型预览版，基于 NEO-Unify 架构迭代，仅 8B-MoT 参数即贯通视觉理解、推理、生成与编辑。模型原生支持 4K 图像生成，具备精细局部纹理、真实世界质感、中英文文字生成与复杂版式能力，优化对超长自然语言和结构化视觉指令的精准遵循，配套 Prompt Enhance Skill 降低复杂创作门槛。
MindMemOS – 华为诺亚方舟开源的 AI Agent 记忆操作系统
MindMemOS是由华为诺亚方舟实验室开源的AI Agent记忆操作系统，旨在解决传统Agent在每次交互后遗忘历史信息的根本缺陷。该系统将记忆从单个Agent中解耦为可跨框架复用的独立资产，采用实体-属性-时间三维结构来保存最新状态与完整演变轨迹，并通过Dreaming离线整理、Feedback反馈闭环和Skill Evolution技能自演进等机制，实现记忆与系统的共同进化。它定位为Agen...
PerceptionBench – 月之暗面开源的视觉感知诊断基准
PerceptionBench是由月之暗面（Moonshot AI）开源的视觉感知诊断基准，专注于原子级视觉感知能力的细粒度评测。该基准从42个现有多模态评测集中前沿模型的失败案例出发，归纳出10项原子视觉感知能力，并构建了3,000道隔离式验证题，每道题目仅考察单一感知能力，无需推理或外部知识。测试结果显示，当前16个主流多模态大模型（MLLM）无一达到60%的准确率，揭示了原子级视觉感知仍是行...
