SenseNova Loop-9B-Preview评测：商汤以9B参数挑战27B级复杂任务的循环多模态架构

1. SenseNova Loop-9B-Preview是什么

SenseNova Loop-9B-Preview是商汤科技开源的9B参数级多模态预览模型，其核心创新在于采用Looped Transformer循环架构，保留首尾各4层原始解码器，将中间层替换为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度，使模型以约9B参数实现56层执行深度。该模型引入mHC（Manifold-Constrained Hyper-Connections）机制增强特征交互稳定性，在官方评测中，办公与智能体任务表现超越Qwen3.5-27B，以小参数实现大模型级复杂任务能力，权重已在GitHub与Hugging Face公开。

技术定位与领域： 属于多模态大语言模型领域，定位为面向长上下文与智能体工作流的循环多模态模型，支持文本与图像输入，训练上下文长度达262,144 token，兼顾代码生成、办公内容创作与复杂Agent任务执行。

研发背景： 由商汤科技开发，基于其在计算机视觉与AI大模型领域的深厚积累。商汤此前已推出日日新系列大模型体系，SenseNova Loop-9B-Preview是其探索高效参数利用与推理成本控制的重要开源实践，属于国内首批9B级循环架构开源模型。

核心价值： 解决小参数模型在复杂推理任务上能力不足的行业痛点。通过参数共享循环计算，在推理成本可控的前提下逼近27B级稠密模型在办公与智能体任务上的表现，为资源受限场景提供高性能模型方案，同时通过开源推动社区研究与产业应用。

技术特点： 采用Looped Transformer循环架构与双流mHC特征交互机制，以约9B参数模拟56层计算深度；内置MTP推理加速机制，支持多模态输入与256K超长上下文，在AutomationBench等多步骤Agent评测中表现突出。

2. 主要功能

• 代码生成： 在代码编写类任务上达到同级别领先水准，能够支撑完整的开发场景应用。模型可完成代码补全、脚本编写与小型项目的端到端开发任务，为开发者提供高效的编码辅助能力，在代码生成质量与逻辑正确性方面表现稳定。

• 办公内容生成： 已接入小浣熊客户端，可生成PPT设计、长文档等办公交付物。模型能够根据用户需求自动生成结构化的演示文稿内容、数据分析报告与动效演示页面，覆盖日常办公中高频的文档制作与汇报场景，显著提升办公效率。

• 智能体任务： 在AutomationBench等多步骤Agent评测中表现突出，可完成含叙事与交互的复杂长链路任务。模型具备多步骤工具调用、网页操作与任务规划能力，适合构建自动化办公与流程执行类Agent，能够自主拆解复杂任务并逐步执行。

• 长上下文处理： 训练支持最长262,144 token上下文，能够一次性处理整份合同、财报、论文集等大体量文档。依托超长上下文窗口，模型可对长文档进行结构化摘要生成、深度问答与信息抽取，适配文档理解与长链路任务场景。

• 多模态输入理解： 支持文本与图像双模态输入，模型能够理解图像内容并生成对应文本输出。该能力适用于图文混排的旅行专题、营销页面、叙事性网站等富媒体内容生成，扩展了模型在视觉理解与跨模态推理方面的应用边界。

• 推理加速机制： 内置MTP（Multi-Token Prediction）加速机制且已可用，能够显著提升推理吞吐效率。Dspark、Dflash2等投机解码方案正在研发中，未来将进一步优化推理速度，降低生产环境的部署与运行成本。

• 思考模式开关： 支持enable_thinking参数控制，在需要深度推理时可开启思考模式，让模型在生成最终回答前进行内部推理与验证。该功能在数学推理、逻辑分析等复杂任务中能够有效提升回答质量与准确性。

3. 应用场景

• 长文档理解与分析： 依托256K超长上下文窗口，模型可一次性处理整份合同、财报、论文集等大体量文档，生成结构化摘要并支持深度问答。法务、金融、科研等领域的从业者可直接上传长文档，快速获取关键信息提炼与要点分析，大幅减少人工阅读时间。

• 智能体（Agent）工作流： 在多步骤工具调用、网页操作与任务规划场景中表现突出，适合构建自动化办公与流程执行类Agent。企业可将模型接入内部系统，实现自动化的数据收集、信息整理、流程审批等操作，模型能够自主拆解复杂任务并逐步执行，降低人工干预成本。

• 办公内容生成： 接入小浣熊客户端后，模型可直接生成PPT设计、数据分析报告与动效演示页。职场用户输入主题或数据，即可获得结构完整、视觉美观的演示文稿与文档初稿，覆盖日常汇报、项目提案等高频办公交付物制作场景。

• 代码开发辅助： 代码生成能力达同级别领先水平，可承担代码补全、脚本编写与小型项目的端到端开发任务。开发者在编写复杂函数、调试错误或实现特定功能时，可通过对话方式获取代码建议与实现方案，提升开发效率与代码质量。

• 多模态内容创作： 支持文本与图像输入，适用于图文混排的旅行专题、营销页面、叙事性网站等富媒体内容生成。内容创作者可上传参考图片并描述需求，模型将结合视觉信息生成配套文案与页面结构，丰富创作表达形式。

4. 如何使用

1. 环境准备： 安装与CUDA版本匹配的PyTorch框架，然后执行pip install "transformers==5.18.0" accelerate safetensors安装必要依赖。建议使用Linux操作系统，配备NVIDIA GPU（推荐16GB以上显存）以获得较好的推理性能。

2. 获取模型： 从Hugging Face下载sensenova/SenseNova-Loop-9B-Preview权重到本地目录，确保目录中包含配置文件、tokenizer文件、chat模板与自定义模型代码。模型采用自定义架构，需要完整保留仓库中的模型实现文件。

3. 加载模型： 在Python代码中以trust_remote_code=True、dtype=torch.bfloat16参数调用AutoModelForCausalLM.from_pretrained加载模型，并调用.eval()切换至推理模式。加载时需指定本地模型路径，确保代码能够正确读取自定义模型结构。

4. 构造输入： 使用tokenizer.apply_chat_template方法组装对话prompt，将用户消息按对话格式传入。当任务需要深度推理时，设置enable_thinking=True开启思考模式，模型将在生成回答前进行内部推理。

5. 推理生成： 调用model.generate方法生成文本，支持use_cache参数加速推理过程。在长文本生成场景中，可启用MTP加速机制提升生成效率，根据任务复杂度调整max_new_tokens等生成参数。

6. 服务化部署： 生产环境可使用LightLLM或SGLang框架对外提供API服务。需注意当前需使用官方提供的PR分支版本，标准发布版本可能尚未包含对该模型架构的完整支持，部署前应确认框架版本兼容性。

5. 优缺点分析

6. 同类工具对比

选型建议： 对于资源受限且需要处理长文档、执行复杂Agent任务的场景，SenseNova Loop-9B-Preview以9B参数实现接近27B模型的能力，具备明显的成本优势，适合长上下文理解与多步骤任务执行需求。若对部署生态成熟度与社区支持有较高要求，且任务以纯文本为主，Qwen3-8B凭借成熟的vLLM/Ollama生态和丰富的微调工具链，更适合快速落地生产环境。对于追求极致性能且算力充足的中大型团队，Qwen3.5-27B在复杂推理与多模态理解上表现更全面，可作为高要求任务的首选。

7. 编辑总结

SenseNova Loop-9B-Preview在模型架构层面展现了明确的技术创新方向。Looped Transformer循环架构通过参数共享与多轮迭代，在参数规模不变的前提下将有效计算深度从32层扩展至56层，这一设计思路为小参数模型逼近大模型能力提供了可行路径。mHC特征交互机制的引入并非简单的工程优化，而是从信息流形约束的角度解决了多轮循环中的特征退化问题，消融实验显示该机制使GPQA Diamond提升4.42分、TeamBench提升13.34分，验证了其在增强推理能力与Agent任务执行上的实际价值。

从实用价值来看，该模型以约9B参数实现接近27B级模型在办公与智能体任务上的表现，单次前向约14.6B计算量的成本控制使其在GPU资源有限的场景中具备吸引力。256K超长上下文与多模态输入能力的组合，使其在长文档处理、自动化办公与富媒体内容创作等实际业务中具备明确的应用空间。官方评测显示其在AutomationBench等多步骤Agent任务中表现突出，这为构建自动化工作流提供了新的模型选择。

该模型适合对推理成本敏感、需要长上下文处理与Agent任务执行能力的开发团队，以及希望在可控预算内探索多模态应用的科研机构。当前其在部署生态与微调工具链方面尚处建设初期，但循环架构的技术路线与开源策略为后续迭代奠定了基础。随着MTP加速机制落地及Dspark、Dflash2等投机解码方案的推进，其在推理效率上的表现值得关注。

8. 常见问题FAQ

Q：SenseNova Loop-9B-Preview的显存要求是多少？
A：模型约9B参数，以bfloat16精度加载约需18GB显存。推理时单次前向计算量约14.6B，建议使用24GB及以上显存的GPU（如NVIDIA RTX 3090/4090或A10/A100）以获得流畅的推理体验。若显存有限，可考虑量化方案或使用CPU推理（速度较慢）。

Q：如何开启模型的思考模式？
A：在构造对话输入时，通过tokenizer.apply_chat_template组装prompt后，设置enable_thinking=True参数即可开启思考模式。该模式适用于数学推理、逻辑分析等需要深度思考的任务，模型会在生成最终回答前进行内部推理与验证，但会相应增加推理时间。

Q：模型支持哪些输入模态？
A：支持文本与图像双模态输入，输出为文本。用户可以在对话中上传图片并附带文字描述，模型能够理解图像内容并生成相关文本回复。需要注意的是，该模型不支持图像生成，仅支持图像理解与文本输出。

Q：模型的最大上下文长度是多少？实际使用中能处理多长的文档？
A：训练支持最长262,144（256K）token的上下文。实际使用中，可一次性处理约20-30万字的文档内容，具体取决于tokenizer对文本的切分效率。处理超长文档时建议开启use_cache加速，并注意显存占用会随输入长度增加而上升。

Q：部署到生产环境时，LightLLM和SGLang是否可以直接使用？
A：当前需使用官方提供的PR分支版本，标准发布版本可能尚未包含对该模型循环架构的完整支持。建议先从GitHub仓库获取最新代码并确认PR合并状态，或直接使用Transformers库进行推理部署，待官方发布稳定支持版本后再迁移至服务化框架。

Q：模型的微调训练需要多少GPU资源？
A：官方提供fork的torchtitan框架，支持8卡环境下的SFT、DPO与MTP训练。具体显存需求取决于训练序列长度与批次大小，建议使用8张A100（80GB）或同等规格GPU进行训练，消费级显卡仅适合进行小规模参数微调或推理测试。

9. 项目地址

• GitHub仓库：https://github.com/OpenSenseNova/SenseNova-Loop
• HuggingFace模型库：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview