MOSS-Live – 模思智能推出的全双工实时交互系统

1. MOSS-Live是什么

MOSS-Live是模思智能推出的全双工实时交互系统，其核心突破在于实现语义级全双工对话控制，让AI能够在持续倾听的同时动态判断回应、等待或接受打断的时机，实现类人的自然交流节奏。系统采用前后台协同架构，将实时交互与复杂任务解耦，前台模型负责持续的语音、画面与环境声多模态感知，后台模型异步执行查询、规划等深度推理任务，在不打断对话的前提下完成工作并主动反馈结果。该产品基于复旦MOSS团队的技术积累研发，在FDB v1等多项基准测试中表现出领先水平，API限时免费开放。

技术定位与领域： MOSS-Live属于实时语音交互与多模态感知系统，核心方向是解决传统语音助手"你问我答"式交互范式的局限性，推动人机对话向自然的全双工并行沟通演进。其技术能力涵盖语义理解、语音活动检测、多模态融合、对话状态追踪与异步任务调度等多个层面，代表了实时交互系统从"轮次式"向"流式并行"转型的前沿方向。

研发背景： MOSS-Live由模思智能开发，团队依托复旦大学MOSS大模型项目的技术积累与研发经验。MOSS是国内早期开源大语言模型之一，团队在对话系统、指令微调与多模态理解方面具备深厚的工程与学术沉淀。MOSS-Live的推出，可以视为该团队将对话式AI能力从文本交互延伸至实时语音全双工交互的重要产品化落地。

核心价值： MOSS-Live针对的是当前语音交互系统中普遍存在的"抢话""误触发""打断后失忆"等体验痛点。通过语义级判停与抗干扰机制，系统能够区分附和声与真正打断、拒绝回应无关环境声，并支持多次打断后的断点续说，大幅提升对话的自然度与连续性。前后台协同的架构设计，则解决了复杂任务执行与实时对话互斥的工程难题，使AI能够在对话过程中同步完成信息查询与方案规划。

技术特点： 系统融合语音流、视频画面与声学环境三路信息源，实现"边看、边听、边聊"的多模态实时交互。此外，流式同声传译能力让其能在跨语言交流场景中以接近真人同传的低延迟持续输出译文，进一步拓展了产品的应用边界。

2. 主要功能

• 语义级全双工控制： 系统在持续倾听过程中实时分析语义、说话意图与对话状态，动态决策回应、等待或保持沉默的时机。该能力基于对话状态追踪模型，对用户话语进行实时意图解析与完成度评估，而非依赖简单的语音端点检测，从而实现流畅的并行听说体验。

• 前后台协同架构： 将实时交互与深度任务解耦，前台交互模型持续接收语音、画面与环境声音并维护对话状态，后台模型承接需要长程推理的查询、规划等任务。两者通过共享的记忆和上下文状态保持同步，前台可感知后台任务进展，待任务完成后在适当时机主动反馈结果。

• 语义打断与判停： 系统能够区分附和声与真实的打断意图，不被"嗯""对"等简短回应中断，同时在用户真正打断时及时响应；基于语义理解判断用户是否说完，对句中的停顿或思考间隙保持等待，不抢话。这一机制在FDB v1基准中实现了1.44%的停顿抢话率，优于GPT Realtime的10.37%。

• 无关声音拒识： 系统具备声学环境理解能力，能够分辨哪些话语是面向AI的，对旁人闲聊、自言自语、导航播报等设备播放声不予响应。在FDB v1.5基准中，其无关语音误接话率为2%，显著低于参评竞品68%~88%的水平，有效解决了语音助手在真实环境中的误触发难题。

• 断点续说与上下文记忆： 在多轮打断和话题频繁切换后，系统仍能记住被打断的位置与对话上下文，并在合适时机自然接续此前的话题。该能力依赖于结构化的对话状态记忆机制，将打断点、未完成意图与活跃话题进行持久化维护，而非简单地保存历史文本。

• 多模态实时感知： 支持视频通话、屏幕共享与环境声理解，系统持续融合语音流、视频画面与声学环境三路信息进行综合决策。举例来说，用户指向画面中的某个物体时，系统可以结合视觉信息识别所指目标；面对导航播报等无关声音，则识别其来源并拒绝响应。

• 边聊边做事： 系统可调用工具异步执行查询、规划等多步骤任务，对话过程不因任务执行而阻塞，完成后主动将结果带回对话。前台的对话状态与后台的任务状态通过共享上下文保持关联，用户无需等待即可继续交流，改善了传统语音助手"一问一卡"的使用体验。

• 流式同声传译： 系统以接近真人同传的低延迟持续输出译文，适用于国际会议、跨语言商务洽谈等场景。该功能基于流式语音识别与机器翻译的级联或端到端方案实现，能够在讲话人持续输出过程中同步生成译文，而非等待完整句子结束后才进行翻译。

3. 应用场景

• AI 会议参会： MOSS-Live可作为虚拟参会者实时跟进讨论，理解会议中的多轮对话与话题切换。被与会者打断后，系统能够从断点接续上下文；会后可自动整理讨论结论与待办事项，减少人工记录负担。

• 车载语音助理： 在驾驶场景中，用户可一边开车一边通过语音规划行程、查询船票与酒店信息。系统对导航播报等车内声音具有抗干扰能力，不会被设备播放声误触发；即使多次打断重问路线，也能从断点处接续之前的规划内容。

• 随身旅行向导： 游客在景区中通过视频通话功能指向眼前的建筑，系统结合画面识别目标并讲解其历史背景。讲解过程中用户可随时打断询问附近餐厅或酒店价格，任务在后台异步执行，讲解会随游客兴趣的变化自然调整方向。

• 跨语言同声传译： 在国际会议、商务谈判或跨语言交流中，MOSS-Live以接近真人同传的低延迟持续输出译文，支持发言人连续讲话场景下的流式翻译，适用于对实时性要求较高的专业跨语言沟通场合。

• 学习陪练与提醒： 在背诵练习中实时识别错误并进行纠正，或在会议中盯守重要事项，当满足用户预设条件时主动介入提醒。该场景利用了系统的主动交互能力，用户可自定义触发条件，系统在后台持续关注对话内容，条件达成时自动发起提示。

4. 如何使用

1. 环境要求： MOSS-Live通过官网在线体验，无需本地部署。使用前需准备可正常工作的麦克风与摄像头（使用视频通话功能时），推荐使用Chrome或Edge等现代浏览器访问官网，确保WebRTC能力可正常启用。

2. 官网在线体验： 访问模思智能官网 https://www.moss.cn ，点击"体验 MOSS Live"入口。注册并登录账号后，浏览器会请求麦克风（及摄像头）权限，需点击授权。完成授权后，用户可选择偏好声音，即可开始全双工语音对话。

3. API 接入： 开发者如需将MOSS-Live嵌入自有产品，可访问 https://platform.moss.cn 注册开发者账号。创建应用后获取API密钥，并按官方文档集成全双工接口。文档中提供了接口鉴权方式、会话建立流程与消息格式说明。

4. 功能配置： 在体验过程中，用户可启用或关闭视频通话、屏幕共享、流式同传等扩展能力。系统默认开启语义判停与无关声音拒识，无需手动设置阈值；如需自定义主动交互触发条件，可在对话中通过自然语言指令进行设置。

5. 最佳实践： 使用视频通话功能时，建议保持光线充足与摄像头视野清晰，以便系统准确识别画面中的物体；在嘈杂环境中，系统已具备无关声音拒识能力，但仍建议尽量靠近麦克风讲话，以保证语音采集质量。

5. 优缺点分析

6. 同类工具对比

选型建议： 在需要抗干扰能力与自然对话节奏的场景中，如车载环境、开放式办公区或家庭环境，MOSS-Live的语义级判停与无关声音拒识能力在基准表现上明显领先，选择MOSS-Live可获得更好的实际体验。在复杂多轮任务完成能力要求较高的场景，如深度信息整合与多步推理任务，GPT-Live-1在多轮任务成功率上略占优势，但代价是更高的接入成本与较弱的抗干扰性能。

架构考量方面： 若应用场景要求对话与任务执行并行，例如用户边聊天边需要系统查询资料、规划行程，MOSS-Live的前后台协同架构更具针对性；而GPT-Live的长任务通常需要中断对话另起会话，交互连贯性上存在差距。此外，MOSS-Live当前API限时免费，对开发者和中小团队更为友好。

7. 编辑总结

MOSS-Live在实时语音交互领域做出了一项关键的技术探索，即用语义级理解取代传统语音活动检测来驱动交互决策。其在FDB v1基准中停顿抢话率1.44%、无关语音误接话率2%的成绩，从量化层面说明全双工对话从"能听能说"到"懂得何时说、何时不说"的进化已经具备了工程可行性。前后台协同的架构设计同样值得关注——将实时交互与深度任务解耦，通过共享记忆维持对话连续性与任务状态的同步，这一思路有效化解了"对话流畅性"与"任务复杂度"之间的矛盾，对同类系统的架构演进有参考价值。

从实用价值来看，该产品在车载语音、会议辅助、跨语言交流等对实时性和抗干扰要求较高的场景中具备明确的落地优势，多模态感知与流式同传的加入也拓展了产品的适用边界。API限时免费开放对开发者友好，降低了集成测试的试错成本。对于语音交互产品开发者、智能硬件厂商以及需要实时语音能力的行业解决方案团队，MOSS-Live值得纳入技术选型的评估范围。未来若在多轮任务成功率、定价透明度与生态建设方面持续完善，其市场竞争力有望进一步巩固。

8. 常见问题FAQ

Q：MOSS-Live当前是免费的吗？
A：根据官方信息，MOSS-Live的API目前限时免费开放，用户可在官网直接体验产品功能。但正式商用后的计费标准尚未公布，建议开发者关注官方公告以获取最新定价信息。

Q：MOSS-Live需要本地部署吗？
A：不需要。MOSS-Live目前通过云端服务提供，用户直接访问官网即可在线体验，开发者通过API接入。当前未提供本地化部署方案或模型权重开放，对数据私密性要求极高的企业用户需评估这一限制。

Q：MOSS-Live支持哪些语言？
A：MOSS-Live支持中文对话，并具备流式同声传译能力，可在跨语言交流场景中实现低延迟的持续译文输出。具体支持的语言对列表建议查阅官方文档确认。

Q：为什么MOSS-Live不会被"嗯""啊"等声音打断？
A：MOSS-Live的语义级打断判断机制能够区分附和声与真实打断意图。当识别到"嗯""对"等简短回应时，系统判断这属于对话中的自然附和而非用户主动打断，因此不会中断当前发言；而当检测到明确的打断意图时，系统会及时响应并接续上下文。

Q：MOSS-Live在嘈杂环境中能正常工作吗？
A：可以。MOSS-Live具备无关声音拒识能力，能够分辨哪些话语是面向AI的，对旁人闲聊、设备播放声等不予以响应。在FDB v1.5基准中，其无关语音误接话率为2%，远低于同类竞品68%~88%的水平。但需要说明的是，该数据为基准测试表现，实际效果可能因具体环境而异，建议在目标使用场景中进行实测验证。

Q：如何在API中启用视频通话和屏幕共享功能？
A：开发者需在 https://platform.moss.cn 创建应用并获取API密钥，在集成全双工接口的同时，根据官方文档配置视频流与屏幕共享的参数。具体传输协议、数据格式与会话协商方式以官方文档为准。

9. 项目地址

• 产品官网：https://www.moss.cn/products/moss-live
• 官网在线体验入口：https://www.moss.cn
• 开发者平台/API接入：https://platform.moss.cn
• 官方文档：https://platform.moss.cn （开发者平台内提供接口文档）