Spark-Audio-1.0-Preview – 科大讯飞推出的全国产语音基座大模型

1. Spark-Audio-1.0-Preview是什么

Spark-Audio-1.0-Preview是科大讯飞推出的全国产语音基座大模型，采用0.65B音频编码器与30B-A3B MoE语言模型架构，基于1300万小时音频及大量文本数据在纯国产算力集群上训练完成。该模型能够直接解析语音中的语义、情绪与场景信息，支持99种语言和202种方言的识别，以及语音转写、翻译、说话人识别、情感分析、音频问答等多种任务，在高噪声、小音量等复杂场景中表现出领先优势，可广泛应用于智能客服、车载座舱、医疗电子病历等业务场景。

技术定位与领域： Spark-Audio-1.0-Preview属于语音理解与生成领域的基础模型，面向语音识别、语音翻译、说话人识别、情感计算等多任务应用。作为语音基座大模型，其定位介于通用语音理解模型与专用语音识别系统之间，希望通过统一的端到端架构替代传统的"语音转文字-文本理解"级联方案，在复杂声学环境中保持高准确率的同时，保留语音中的韵律、情绪与场景信息，为上层语音应用提供标准化基座能力。

研发背景： 该模型由科大讯飞研究院开发，依托讯飞在语音技术领域近二十年的技术积累和海量真实语音数据资源。研发动机源于两方面：一是传统级联式语音理解链路存在信息丢失与错误累积问题，在复杂场景下效果受限；二是国产算力生态的成熟使得在纯国产芯片集群上训练大模型成为可行路径。讯飞希望通过构建语音基座模型，将多年积累的语音理解能力标准化，支撑旗下星火生态的各类语音业务。

核心价值： 该模型解决了两个关键问题。其一是端到端语音理解问题，通过让语言模型直接接收音频输入，避免传统方案中先转写再理解导致的语义损耗、情绪丢失和延迟增高。其二是国产算力可行性验证，作为业界首个基于纯国产算力集群训练的语音基座大模型，证明了国产算力在训练超大规模语音模型方面具备国际竞争力，为产业链自主可控提供了实证参考。

技术特点： 模型架构上采用0.65B Dense音频编码器搭配30B-A3B MoE语言模型，以较低的推理成本实现接近更大尺寸模型的理解能力。技术路线上坚持纯端到端训练，将语音和文本作为双模态输入直接送入同一模型，通过音频编码器预训练和分阶段后训练逐步增强复杂场景泛化性，最终实现对语调、情绪、环境音的同步理解，形成区别于级联方案的完整感知链路。

2. 主要功能

• 端到端语音理解： 这是该模型区别于传统语音识别系统的架构级特性。音频信号经编码器处理后直接输入大语言模型，无需先转写为中间文本，避免了级联链路中的信息丢失和误差传递。模型能够同步理解语音中的语义内容、说话人情绪、环境背景音等多维信息，实现从"听清"到"听懂"的跨越。

• 语音转写： 支持99种语言和202种方言的语音转文字。模型在同尺寸对比中，多语言、多方言识别效果占有优势，Fleurs中文测试集上取得SOTA成绩。在高噪声、小音量场景下，转写准确率显著优于传统端到端方案，适用于会议纪要、字幕生成、语音搜索等场景。

• 多语言翻译： 实现语音到语音、语音到文本的跨语言翻译功能，翻译过程中保留原始语音的节奏、语气、语调等韵律特征。与纯文本机器翻译相比，该模型能够通过源语言的韵律信息辅助理解语义，在多语言会议同传、跨语言客服、影视内容本地化等场景中实现更自然的翻译效果。

• 多方言识别： 原生支持202种方言的识别，覆盖粤语、温州话、闽南语、四川话等常用方言。区别于将方言作为独立语种训练的方案，该模型通过统一的音频表征学习跨方言共性特征，在数据稀疏的方言上也能保持较高识别率，降低了方言语音应用的数据采集成本。

• 环境音识别： 模型能够同时解析人声与环境背景音，理解声音发生的场景。例如区分火车站、餐厅、高速驾驶等不同声学环境，并将场景信息作为语义理解的辅助上下文。该能力在安防监控、智能座舱、智能家居等场景中具有实用价值。

• 说话人识别： 自动区分同一段音频中的不同说话人，为会议转写、访谈记录、客服质检提供结构化信息。该功能无需预注册声纹即可实现基本区分，配合转写引擎可完成说话人级别的内容归档，大幅降低人工整理标注成本。

• 情感分析： 捕捉语音中的语气、节奏、音高等韵律特征，推断说话人的情绪状态，如平静、愤怒、愉悦、焦虑等。在智能客服场景中，情感识别可用于实时调整服务策略、预警高危对话；在医疗场景中可辅助判断患者心理状态。

• 音频问答： 用户可针对一段复杂音频内容提出自然语言问题，模型基于对音频的深层理解直接作答。该能力超越了单纯的内容转写和检索，要求模型真正理解音频中的事件脉络、人物关系与逻辑信息，适用于长音频内容审查、培训录音复盘、播客内容检索等场景。

3. 应用场景

• 智能客服与呼叫中心： 在客服通话场景中，模型实时转写客户语音并结合情感分析判断客户情绪状态。当检测到愤怒、焦虑等负面情绪时，系统可提示坐席调整沟通策略或优先转接高级客服，提升问题解决率和客户满意度。方言识别能力使客服系统能够服务更多使用方言的群体，扩大服务覆盖范围。

• 汽车座舱交互： 在高速行驶、车窗开启、音乐播放等高噪声环境下，模型利用抗噪能力准确识别驾驶员语音指令，支持方言交互，允许驾驶员使用母语控制导航、空调、车窗等功能。环境音识别可感知车内外的声学场景，自动调节交互策略和语音反馈音量，打造更自然的车内语音交互体验。

• 实时翻译与跨语言会议： 在跨国视频会议、国际商务洽谈、学术报告等场景中，模型可实现语音同传和多语言翻译，并保留发言人语气、语调等韵律信息，使译文更具表达力和自然度。相比纯文本翻译，带韵律信息的翻译更利于传达讲话者的态度和情绪，提升跨语言沟通效率。

• 会议转写与纪要生成： 面向企业内部会议、访谈、庭审等场景，模型自动完成语音转写、说话人区分和结构化纪要生成。系统可标注不同发言人的讲话内容，提取关键决策点和待办事项，自动生成会议纪要初稿，帮助工作人员减少重复整理工作，提高会议记录效率。

• 医疗电子病历与内容审核： 在医疗场景中，医生通过口述完成病历录入，模型将语音直接转写为结构化电子病历文本，支持专业术语识别，降低手工录入负担。在内容审核场景中，模型对音视频内容进行自动转写、情感分析和说话人识别，辅助审核人员快速定位违规内容片段，提升内容安全治理效率。

4. 如何使用

Spark-Audio-1.0-Preview目前以在线体验的方式开放，无需本地部署即可使用。以下是具体的使用流程：

1. 环境要求： 无需安装任何软件或配置运行环境，使用Chrome、Edge、Safari等现代浏览器，访问官方体验页面即可。体验过程对网络带宽要求不高，普通互联网环境即可流畅使用。若需进行本地私有化部署，建议配置具备较强算力的国产AI加速卡集群，具体硬件规格和部署方案待官方公布。

2. 访问官方体验页面： 在浏览器中打开体验地址 https://iflytekresearch.iflytek.com/experience/spark-audio 。页面加载后会自动初始化模型环境，首次加载可能需要几秒至十几秒的等待时间。

3. 选择输入方式： 体验页面支持文本输入和语音输入两种方式。语音输入可通过麦克风实时录制，或上传本地音频文件。文本输入则用于测试模型的文本理解能力，便于对比语音和文本两种模态下的模型表现。

4. 体验具体功能： 根据测试需求选择功能类型。语音转写可直接上传音频获取文字结果；翻译功能可设置源语言和目标语言进行跨语言转换；方言识别可选择指定方言进行针对性测试；音频问答则需针对上传音频提出具体问题并查看模型回答。

5. 观察输出结果： 模型的输出包含转写文本、翻译结果、情感标签、说话人标记等多层次信息。建议结合不同噪声背景、不同音量的测试音频，对比模型在复杂场景下的表现，以全面评估模型的实际能力。

6. 注意事项： 体验页面以预览形式开放，主要面向功能验证和技术评估，不适用于生产环境调用。当前版本的功能范围、调用频率限制和商业授权方式仍需参考官方后续公布的文档和技术规范。若需将模型能力集成到业务系统中，建议联系讯飞官方获取基于该基座模型微调的专用解决方案。

5. 优缺点分析

6. 同类工具对比

下表从核心技术维度对Spark-Audio-1.0-Preview与主流语音大模型进行对比：

在选型建议方面，对于追求自主可控、有国产算力部署需求的企业用户，特别是央国企和政府机构，Spark-Audio-1.0-Preview是当前唯一经过大规模训练验证的国产算力语音基座模型，建议优先考虑。它在多方言覆盖和抗噪能力上具备差异化优势，适合客服中心、车载语音等中文复杂声学场景，但需关注其上下文长度、API开放节奏等尚待公布的信息。

对于需要处理超长音频（如10小时以上会议录音）或高并发实时语音交互的业务场景，Qwen3.5-Omni-Flash在长上下文和低延迟方面具有更明确的技术参数支撑。而追求多模态综合处理能力、需要同时理解图像与语音内容的通用AI应用，Gemini-3.1 Pro的成熟生态和100万tokens上下文窗口更具吸引力。对于国内开发者，建议结合自身业务的算力资源、音频数据时长和实时性要求综合评估，优先选择技术参数已充分公开的模型进行基准测试。

7. 编辑总结

Spark-Audio-1.0-Preview在语音基座大模型的技术路线上做出了有参考价值的探索。其核心创新在于以端到端架构彻底替代传统级联方案，通过0.65B音频编码器与30B-A3B MoE语言模型的组合，实现了语音语义、情绪、场景信息的同步理解，在结构上解决了级联链路的信息损耗问题。训练数据达1300万小时，并在纯国产算力集群上完成训练，这一实践为国产AI芯片在超大规模模型训练中的性能和稳定性提供了实证参考，对产业链的自主可控建设具有重要意义。

从实用价值看，该模型在多语言、多方言覆盖和复杂声学场景中的表现已接近甚至超过尺寸为其一个数量级以上的闭源模型，Fleurs中文子集SOTA成绩和对比Gemini-3.1 Pro的评测表现支撑了其能力宣称。同时，模型在文本任务上未见明显能力下降，使其具备"一模型多用"的成本优势。在智能客服、车载交互、医疗转录等对中文和方言有强需求的应用场景中，该模型具有清晰的落地路径。

适用人群方面，该模型主要面向三类用户：有自主可控需求的企业技术决策者、从事语音应用开发的工程师、以及语音技术领域的研究人员。前两类用户建议关注其基座微调能力和后续商业化开放节奏，研究人员则可从端到端架构设计和国产算力训练方法论两个方向深入研究。

总体而言，Spark-Audio-1.0-Preview体现了讯飞将二十余年语音技术积累转化为基座模型能力的战略意图。当前预览版本在功能完整性和生态成熟度上仍有提升空间，但技术底座的优势已初步显现。后续能否在开源工具链、API服务、行业解决方案上形成完整闭环，将决定其在语音大模型竞争中的长期地位。

8. 常见问题FAQ

Q：Spark-Audio-1.0-Preview与传统的语音识别系统有何本质区别？
A：传统语音识别系统通常采用级联架构，先将语音转写为文本，再将文本送入语言模型理解语义。这种方案在每一步都会丢失部分信息，特别是语气、情绪、环境音等非文本信息，且错误会在链路中累积。Spark-Audio-1.0-Preview采用端到端单模型架构，音频信号直接输入大语言模型，同步理解语义、情绪与场景，避免了级联链路的信息损耗，这也是其在复杂场景中表现更好的根本原因。

Q：模型的99种语言和202种方言是否指所有语言都能达到同等识别水平？
A：并非如此。模型对主流语言和常用方言的识别准确率较高，对数据较少的冷门语言和方言虽然具备识别能力，但准确率会有所下降。讯飞官方表示在同尺寸模型对比中，其多语言、多方言识别效果整体占优，Fleurs中文测试集取得SOTA成绩。具体某一种语言或方言的识别能力，建议在体验页面使用对应音频实测验证。

Q：如何理解模型的MoE架构和30B-A3B参数配置？
A："30B-A3B"表示模型总参数量为300亿，采用MoE（Mixture of Experts，混合专家）架构，每个token推理时仅激活约30亿参数（即3B）。MoE架构通过将参数划分为多个专家模块，每次推理只启用与当前输入最相关的专家组合，实现"大参数量、低计算成本"的效果。这是模型能以较小算力开销接近更大尺寸模型性能的关键设计。

Q：该模型是否支持商用和二次开发？
A：目前官方以预览形式开放在线体验，尚未公布商用授权、开源计划、API服务等具体政策。从讯飞的"1+N"体系来看，Spark-Audio作为语音基座有望支持进一步微调，开发出语音识别、语音同传、语音交互等专用模型，但具体开放方式、时间节点和授权条款需等待官方正式发布。

Q：模型在处理超长音频时表现如何？
A：该模型的上下文输入长度上限目前官方未公布。从竞品对比来看，Qwen3.5-Omni-Flash支持最大输入19.6万tokens，可处理10小时以上音频，而Spark-Audio的该项数据尚无官方说明。对于超过数十分钟的长音频处理需求，建议先通过体验页面上传长音频进行实测，或关注后续官方发布的技术文档获取准确参数。

Q：国产算力训练的模型在推理阶段是否需要国产芯片？
A：训练阶段使用国产算力集群完成，与推理阶段的硬件要求没有必然绑定。模型发布后既可以部署在国产芯片环境上，也可以适配主流的通用GPU环境。但若需充分发挥模型在自主可控方面的优势，推荐在国产算力平台上进行部署推理，具体硬件兼容列表和配置要求需参考官方后续公布的部署文档。

Q：模型能否识别音乐、动物叫声等非语音音频内容？
A：模型在训练中使用了包含环境音、音乐在内的多样化音频数据，具备一定的非语音音频理解能力。其核心优势在于理解人声与背景音的关系，例如在嘈杂环境中分离并识别语音，或识别声音发生的场景。对于精细化的音乐分析或特定声音事件分类，当前的基座模型能力可能有限，需要在基座上进行针对性微调以获得更好的专项效果。

9. 项目地址

• 官方体验页面： https://iflytekresearch.iflytek.com/experience/spark-audio