Qwen3.8-Omni-Flash – 阿里千问推出的原生全模态模型

1. Qwen3.8-Omni-Flash是什么

Qwen3.8-Omni-Flash是阿里千问推出的原生全模态模型，在单一架构内联合建模文本、图像、音频与视频四种模态，支持1M token超长上下文，使数小时音视频内容得以原生输入而无需分段处理。该模型以“从理解到交付”为核心设计理念，不仅具备跨模态理解能力，更可通过内置Agent能力自主完成视频剪辑、MV创作、短剧翻译、电影解说、会议纪要执行等端到端工作流。相比上代模型平均能力提升超过25%，API音频输入价格降幅超98%。同时，阿里千问开源了Qwen-MM-Plugins与Qwen-Live Harness两大配套框架，为音视频Agent应用的开发与部署提供了完整的工具链支撑。

技术定位与领域： 属于多模态大模型与智能体（Agent）交叉领域。该模型定位为全模态感知与交付一体化的基础模型，既涵盖传统的视觉-语言理解任务，也扩展至音视频生成、编辑、翻译等创造性任务，在同类产品中率先实现了“理解到交付”的完整闭环。其技术路线兼顾了学术前沿（全模态统一架构）与产业落地（Agent工具链），在通用多模态大模型中具有差异化的定位。

研发背景： 由阿里巴巴通义千问团队研发。该团队长期深耕大语言模型与多模态模型，积累了从基础模型训练到云上部署的完整技术栈。此次推出的Qwen3.8-Omni-Flash，是团队在原生全模态方向上的重要技术延伸，旨在解决现有音视频理解模型仅能“看懂”而无法“动手做”的核心痛点，将模型从感知层推向执行层。

核心价值： 解决了长音视频理解与多步骤任务交付两大难题。此前，处理一小时以上的音视频内容通常需要分段切分、逐段分析、人工拼接的繁琐流程，信息割裂且效率低下。该模型通过原生长上下文与Agentic按需感知机制，实现对长音视频的全局理解与精细化定位。同时，其“从理解到交付”的能力使得会议纪要生成、视频解说制作、短剧翻译配音等工作从人工流程转变为自动化流水线，显著降低内容生产的人力与时间成本。

技术特点： 模型采用原生全模态统一架构，在一个模型中联合建模四种模态，并通过模态对齐的编码与统一表示空间实现跨模态理解，文本能力与同尺寸纯文本模型保持相当。其独特的Agentic按需感知与多轮取证机制，使模型能够自主决定“看哪里、听什么”，将计算预算集中于关键片段，在降低约45.7% token消耗的同时提升理解准确率。

2. 主要功能

• Agentic长音视频理解： 模型从用户问题出发，自主决定需要关注画面与音频的哪些片段，通过由粗到细的多轮取证，逐步定位关键信息。相比传统全量扫描方案，该机制在准确率提升的同时将token消耗降低约45.7%，适用于长视频内容问答、事件检索等场景。

• 可控音视频Caption： 用户可自由指定描述对象（人物、物体、场景）、时间范围、信息粒度（概括或详细）与输出格式（JSON、Markdown等），实现“用户想知道什么”而非“模型看到了什么”的按需描述能力。该功能为下游的内容分析、检索与再创作提供了精准的结构化输入。

• 长会议理解与执行： 原生支持一小时音视频输入，端到端完成说话人切分、语音转录、身份对齐、会议纪要生成与待办事项抽取。在多人交替发言、声音重叠的复杂会议场景中，模型结合视觉信息辅助消解指代与实体歧义，识别指标大幅优化。

• Music2MV： 模型细粒度理解歌曲的结构、节奏与情绪变化，输出带时间戳的歌词，并贯穿音乐理解、分镜设计、画面生成到成片质检的完整MV创作流程。创作者只需输入歌曲，即可获得完整的MV成片。

• 短剧翻译： 以一句话完成角色台词识别（ASR）、口语化翻译、音色克隆配音、音轨重混与质检的全流程，实现译制内容的自动化交付。相比传统多步骤人工翻译+配音流程，端到端方案显著缩短制作周期。

• 音视频深度研究： 结合视频内容与用户需求，模型自动检索多模态互联网资料，交叉验证信息并生成以视频为中心的图文并茂研究报告。该功能适用于需要视频+外部资料综合分析的深度研究场景。

• Video2Note： 将数小时视频自动压缩为图文对应、带时间戳的PDF笔记，并具备自动审阅迭代修正能力。学生可将课程录像转化为结构化学习笔记，研究人员可将讲座视频沉淀为可检索的知识文档。

• 实时口语陪练： 联合建模发音与语义，理解用户口音偏差并实时生成标准发音示范。当用户新一轮语音输入时，模型持续更新判断，区分影响理解的关键错误与自然口音差异，实现低延迟的互动式口语学习体验。

3. 应用场景

• 视频内容批量生产： 自媒体团队可输入影片与一句话需求，由模型自动完成全片理解、情节提炼、解说文案撰写、配音配乐、剪辑渲染与质检，实现电影解说、MV制作、短剧翻译配音的端到端自动化交付，大幅缩短内容制作周期，降低人力成本。

• 会议效率自动化： 企业用户上传一小时会议录像，模型原生完成说话人切分、语音转录、身份对齐与纪要生成，并自动抽取待办事项、发送邮件或创建任务，将会议后的整理工作从数小时压缩至数分钟，同时通过视觉信息辅助提升多人发言场景的识别准确性。

• 在线学习与知识管理： 学生或研究人员将数小时课程录像或讲座视频输入模型，自动生成图文对应、带时间戳的PDF笔记，支持自动审阅与迭代修正。对于知识密集型的视频内容，该功能实现了从被动观看向主动知识沉淀的转化。

• 视频深度研究： 研究人员针对特定视频内容输入研究需求，模型自动检索全网多模态资料，交叉验证信息并生成以视频为中心的图文并茂研究报告。适用于产品分析、竞品研究、技术调研等需要视频+外部资料综合考证的场景。

• 实时交互服务： 基于Realtime架构，模型支持低延迟音视频交互，可用于实时口语陪练、智能客服、听声辨位导航等场景。首token延迟约600-980ms，音频生成RTF约0.153，能够支撑自然流畅的实时对话体验。

4. 如何使用

1. 网页直接使用： 打开千问AI平台（（链接待官方发布后更新）

2. API调用： 申请阿里云DashScope的API Key，通过兼容OpenAI格式的接口调用。请求时可传入图片、音频或视频链接（或Base64编码）并附上文字问题，模型将返回理解结果。API方式适合开发者在自有应用中集成该模型能力。

3. 安装Agent插件： 在Claude Code、Qwen Code等Agent开发环境中安装Qwen-MM-Plugins插件，之后可以像聊天一样下达指令，例如“@video.mp4 帮我做成解说视频”，模型将自动完成素材理解、任务规划、工具调用与结果交付的完整流程。

4. 部署实时交互服务： 若需使用实时口语陪练、低延迟音视频交互等功能，可接入Qwen3.8-Omni-Flash-Realtime服务。该服务通过WebSocket/WebRTC接收音视频流，在输入的同时完成感知与响应，首token延迟约600-980ms，音频生成RTF约0.153。开发者需在前端建立音视频采集与流式传输通道。

5. 注意事项： API调用需关注配额与计费策略；Agent插件方式需确保运行环境具备必要的依赖（如FFmpeg等音视频处理工具）；处理长视频时，1M上下文虽可原生容纳，但建议控制输入长度以获得更快的响应速度。

5. 优缺点分析

6. 同类工具对比

选型建议： 在长音视频理解与多说话人识别场景，Qwen3.8-Omni-Flash在中文会议、方言支持等本地化场景占据显著优势，且API价格大幅低于Gemini 3.8 Flash与GPT-4o，适合规模化部署与成本敏感的商业应用。若对基准测试数值要求极致、且主要处理英文内容，Gemini 3.8 Flash在LVOmniBench与FLEURS WER上仍保有一定领先，可考虑作为备选方案。开发者应结合自身的语种需求、上下文长度要求与预算约束进行选择。对于需要Agent化交付能力的团队，Qwen3.8-Omni-Flash当前是唯一提供完整开源工具链的选项。

7. 编辑总结

Qwen3.8-Omni-Flash在技术创新性上展现了几个值得关注的突破点。其一，原生全模态统一架构摒弃了传统多模型拼接方案，在单一架构内实现四种模态的联合建模，这种设计对提升跨模态推理的一致性与降低系统复杂度具有实质性意义。其二，Agentic按需感知与多轮取证机制有效解决了长音视频处理中的计算效率问题，在token消耗降低约45.7%的同时准确率不降反升，为长上下文模型的实际落地提供了可行的效率路径。其三，多说话人音画协同识别策略将视觉信息引入音频消歧过程，在AliMeeting基准上取得3.4的DER成绩，显著优于对比产品，验证了跨模态信息融合在具体任务中的有效性。

从实用价值来看，该模型覆盖了从内容理解到内容交付的完整链路，视频解说、短剧翻译、会议纪要自动化等能力可直接应用于媒体制作、企业办公、在线教育等领域。开源工具链的推出降低了开发者的集成门槛，使模型能力能够快速嵌入现有Agent工作流，加速了技术向产品的转化过程。对于音视频内容生产团队、企业知识管理部门与AI应用开发者而言，该模型提供了从感知到执行的一体化解决方案。其在中文场景与价格方面的差异化优势，也使其在国产模型替代与国际竞争中具备较强的市场适应能力。

8. 常见问题FAQ

Q：Qwen3.8-Omni-Flash与传统的多模态模型有何本质区别？
A：传统多模态模型通常以文本为核心，将图像、音频、视频作为附属输入进行单轮理解任务。Qwen3.8-Omni-Flash采用原生全模态统一架构，在模型底层联合建模四种模态，具备平等的跨模态表示能力。同时其Agent能力使其不仅“理解”内容，还能自主规划并执行多步骤任务，输出完整的交付物（成片、报告、笔记等），属于新一代多模态Agent模型。

Q：1M上下文窗口实际意味着什么？
A：1M token上下文约可容纳数百万汉字或数小时的高清视频帧与音轨。这意味着模型可以一次性处理完整的电影、会议录像或长视频课程，无需分段切分再拼接，从根本上避免了分段处理导致的信息割裂问题，保证了全局理解的连贯性。

Q：API调用成本真的有那么低吗？
A：据官方公布，API音频输入价格降幅超98%，音视频输入降价超93%，相比同类国际产品具有显著价格优势。具体价格取决于所选的计费档位与使用量，建议开发者在阿里云DashScope控制台查看最新的详细定价表格并估算预算。

Q：Qwen-MM-Plugins与Qwen-Live Harness分别承担什么角色？
A：Qwen-MM-Plugins为模型提供按需感知、工具调用与工作流执行能力，可接入Claude Code、OpenClaw等主流Agent框架，使模型能够在现有开发环境中完成素材理解、任务规划、工具执行与结果交付。Qwen-Live Harness则侧重于实时交互场景的支撑，提供音视频流的输入输出管理与流式交互协议实现。

Q：模型支持哪些语言与方言？
A：模型在60项语言语音识别测试中表现优秀，支持39种中文方言，覆盖面在国内同类模型中处于领先水平。多语言ASR能力在FLEURS基准上WER达到9.3，相比国际竞品尚有差距，但在中文场景下具备较强的竞争力。

Q：开源版本与API版本有何区别？
A：目前开源的内容包括Qwen-MM-Plugins与Qwen-Live Harness两个配套框架，模型权重尚未开放。API版本提供完整的模型能力访问。通过插件方式，开发者可在本地Agent环境中调用API能力并编排工作流，实现灵活的应用集成。

Q：Qwen3.8-Omni-Flash-Realtime与标准版有何不同？
A：Realtime版本优化了流式交互架构，通过WebSocket/WebRTC接收音视频流，在输入的同时完成感知与响应，首token延迟约600-980ms，音频生成RTF约0.153。标准版则面向异步理解与生成任务，适合处理长输入与复杂工作流。开发者应根据业务实时性需求选择合适的版本。

9. 项目地址

• 产品官网： https://www.qianwenai.com/models/qwen3.8-omni-flash
• GitHub仓库 - Qwen-MM-Plugins： https://github.com/QwenLM/Qwen-MM-Plugins
• GitHub仓库 - Qwen-Live Harness： https://github.com/QwenLM/Qwen-Live-Harness