Xiaomi-OCR-0：小米开源的0.8B轻量级多模态文档理解模型深度评测

1. Xiaomi-OCR-0是什么

Xiaomi-OCR-0是小米公司开源的一款0.8B参数规模的轻量级多模态文档理解模型，基于Qwen3.5-0.8B基座模型训练而成。该模型将文档解析、关键信息抽取（KIE）与OCR视觉问答（VQA）三大核心能力统一于单一架构，在Real5-OmniDocBench基准上以95.24分位居榜首，在OmniDocBench v1.6上取得96.83分位列第二，五项OCR-VQA任务均分达83.2分，全面超越同级参数规模的模型。该模型已实际落地于小米手机"超级小爱"智能助手，实现了从实验室研究到端侧产品的完整闭环。

技术定位与领域： 属于多模态文档理解（Document AI）领域，聚焦于OCR与视觉语言模型的交叉方向。其独特定位在于以极小的0.8B参数量实现文档解析、关键信息抽取、OCR视觉问答的三合一能力，在端侧部署场景中具备显著竞争力。

研发背景： 由小米集团AI实验室（Xiaomi Research）研发，依托小米在端侧AI与智能手机生态的深厚积累，旨在解决传统OCR系统需要拼接多个专用模型、难以在移动设备上高效运行的痛点。团队在数据引擎构建上投入了大量精力，形成了完整的自动化数据生产管线。

核心价值： 解决了轻量级模型在复杂文档理解任务上精度不足的核心问题。通过1.7亿条高质量训练样本和创新的异构专家共识标注（ETC）机制，实现了以数据质量换取模型规模的技术路线，使0.8B参数的模型在多项基准上超越数十亿乃至数百亿参数的通用大模型。

技术特点： 采用异构专家共识标注、渲染引导校验、渐进式三阶段训练等创新技术，构建了完整的"数据引擎+训练策略+工具链"体系。配套提供MCP（Model Context Protocol）服务与Agent Skill工具链，支持灵活的智能体集成。

2. 主要功能

• 文档结构化解析： 识别并还原文档中的正文、复杂表格与数学公式，按自然阅读顺序输出Markdown/LaTeX结构化结果。该功能基于模型对版面布局的深度理解，能够处理多栏排版、嵌套表格等复杂版式，输出结果可直接用于文档管理系统或知识库构建。

• 关键信息抽取（KIE）： 针对发票、银行卡、身份证、护照等半结构化文档，按指定字段进行精准定位并输出JSON结构化数据。通过统一指令接口切换任务类型，无需更换模型即可完成字段级抽取，显著简化了业务流程集成的复杂度。

• OCR视觉问答（VQA）： 突破传统OCR的文字转写局限，支持对文档和图表进行跨元素检索、数值计算与语义推理问答。例如可询问"第二季度营收比第一季度增长了多少"，模型能够自动定位相关数据并完成计算推理。

• 异构专家共识标注（ETC）数据引擎： 由8个架构、数据、策略各异的OCR专家模型对文档区域独立预测，按文本（NED）、表格（TEDS）、公式（CDM）分别计算两两一致度，选出共识度最高的三元组并取其中间众数作为伪标签。只有共识度≥0.9的高置信样本直接进入训练集，从源头滤除单模型偏见。

• 渲染引导校验（Render-Guided Refine-and-Judge）： 对专家意见分歧的区域，使用Qwen3.5-122B-A10B大模型将候选解析结果重新渲染成图像，与原始区域做像素与结构级比对，定位行列错位、符号缺失等隐蔽缺陷。迭代修正最多3轮，仍不收敛的样本进入第二阶段"诊断—修正—验证"流程。

• 渐进式三阶段训练： 第一阶段使用Q-Mask文本锚定预训练建立文字内容与空间位置的细粒度对齐；第二阶段进行多任务OCR持续预训练，在同一自回归格式下扩展全页解析、区域识别、VQA等任务覆盖；第三阶段在挖掘出的难例上用DAPO式Mix-RL强化学习收尾，按任务类型路由奖励。

• MCP与Agent Skill工具链： 提供标准化的MCP服务和Agent Skill组件，使模型能够无缝接入智能体系统。开发者可通过标准接口实现"识别屏幕/文档—提取字段—执行下一步"的自动化流程，降低集成门槛。

3. 应用场景

• 即时生活凭证管理： 识别外卖取餐码、快递取件码、排队号等时效性信息并"上岛"展示，在需要时一触即达。该场景已在小米手机"超级小爱"中落地，体现了模型在端侧低延迟推理方面的能力。

• 智能记账与账单整理： 一键从微信/支付宝账单详情页中抽取金额、商户、交易时间与消费类别，自动生成结构化记账记录。相比传统模板匹配方案，该模型能够适应不同版式的账单截图，无需针对每个App单独配置规则。

• 卡证票据结构化录入： 拍照或识屏提取身份证、银行卡、发票、护照等证件的关键字段为JSON格式，替代手动录入与人工核对流程。在金融、政务、酒店等需要频繁录入证件的场景中，可显著提升工作效率并降低人为错误率。

• 日程智能生成： 从群聊通知、活动海报中提取时间、地点、参与人等信息，自动生成日程卡片并添加至日历。该场景对模型的语义理解能力要求较高，需要区分干扰信息并准确识别时间表达式和地点实体。

• 出行信息联动： 从聊天记录中提取航班号、车次号等行程信息，自动查询实时起降动态并推送提醒。模型需在非结构化文本中准确识别行程实体，并与外部API进行联动，体现了其作为智能体"感知前端"的价值。

4. 如何使用

1. 环境要求： 需要Python 3.9及以上版本，建议使用Linux操作系统。推理需PyTorch 2.0+，推荐配备NVIDIA GPU（显存≥4GB）以充分发挥模型性能，纯CPU环境也可运行但推理速度会明显下降。

2. 获取代码与安装依赖： 克隆GitHub仓库 SeerRay-Lab/Xiaomi-OCR-0，执行 pip install -r requirements.txt 安装所需依赖包，包括transformers、accelerate、sglang等核心组件。

3. 下载模型权重： 从Hugging Face模型库 SeerRay-Lab/Xiaomi-OCR-0 拉取0.8B模型权重文件，可使用 git lfs clone 或通过 huggingface-cli download 命令下载，确保网络环境能够访问Hugging Face服务。

4. 快速体验： 运行项目自带脚本启动浏览器交互式Demo，上传文档图片即可在线体验文档解析、关键信息抽取和视觉问答功能。该方式适合快速验证模型效果，无需编写代码。

5. 配置Agent调用： 将仓库中的MCP服务或Agent Skill接入你的智能体系统，通过标准接口实现自动化文档处理流程。MCP服务以独立进程方式运行，通过JSON-RPC协议与主程序通信。

6. 本地服务部署： 使用SGLang或vLLM将模型部署为本地推理服务，供业务系统通过HTTP API调用。推荐使用SGLang以获得更优的推理性能，部署时需配置合适的batch size和并发参数。

7. 接入版面检测（两阶段管线）： 先用PP-DocLayoutV3检测文字/表格/公式区域，再将各区域裁剪后逐块送入Xiaomi-OCR-0识别，最后拼装成页级结果。该方案在复杂版面场景下可获得更稳定的效果。

8. 编写指令（Prompt）： 以统一的image–instruction–response格式构造提示词，分别指定解析、KIE或VQA任务类型。指令需明确输出格式要求，例如指定"输出Markdown格式"或"输出JSON字段列表"。

5. 优缺点分析

6. 同类工具对比

选型建议： 若您的核心需求是端侧部署、低延迟推理，且需要同时覆盖文档解析、关键信息抽取和视觉问答三类任务，Xiaomi-OCR-0是当前0.8B–1.2B参数区间的首选。其真实采集场景的鲁棒性优势尤其适合手机拍照、屏幕截图等非受控环境。若您的工作流以复杂表格处理为主，且对表格结构还原精度有极致要求，TeleOCR的TEDS 97.05分表现更为突出，但其在KIE和OCR-VQA方面的能力尚未充分展示。若您需要处理的是通用视觉理解任务而非专项文档解析，且不限制模型规模和部署成本，通用多模态大模型仍具有覆盖范围更广的优势，但在文档专项指标上已被专用小模型超越。

7. 编辑总结

Xiaomi-OCR-0的技术创新性体现在数据引擎与训练策略的系统性突破，而非单纯的架构创新。异构专家共识标注（ETC）机制通过多模型投票与一致性筛选，从数据源头控制了伪标签质量；渲染引导校验则利用大模型的渲染能力反查解析缺陷，形成"解析—渲染—比对—修正"的闭环。这两项技术共同构成了一个可扩展的高质量数据生产管线，1.7亿条样本的积累使得0.8B参数的模型能够在多项基准上比肩甚至超越数十亿参数的通用大模型，验证了"数据质量换模型规模"这一技术路线的可行性。

从实用价值来看，该模型最突出的贡献在于将端侧文档理解从"可用"推进到"好用"。三能力一体化的设计消除了多模型拼接的工程负担，0.8B的参数量使得在手机等移动设备上流畅运行成为现实。小米将其落地于"超级小爱"的实践，证明了该技术路径在真实产品中的可行性，为行业提供了端侧文档智能的参考范式。

该模型适合以下人群使用：需要在移动端或边缘设备部署文档理解能力的应用开发者；希望以较低算力成本获得高精度OCR解析能力的企业用户；对数据引擎方法论感兴趣、希望借鉴其数据生产流程的研究人员。对于追求极致表格精度的场景，建议结合TeleOCR或针对性微调使用。

展望未来，随着数据引擎的持续迭代和社区生态的逐步完善，Xiaomi-OCR-0在中文场景优化、复杂表格处理、手写文档识别等方向仍有明确的提升空间。其数据方法论若能被更广泛的社区采纳，有望推动整个文档AI领域向"数据驱动"范式进一步演进。小米在端侧AI的持续投入，也可能使该模型在更多小米生态设备上落地，形成规模化的端侧智能网络。

8. 常见问题FAQ

Q：Xiaomi-OCR-0与通用OCR工具（如PaddleOCR）有何本质区别？
A：传统OCR工具主要完成文字检测与识别，输出的是文本框坐标和文字内容；Xiaomi-OCR-0是多模态文档理解模型，不仅能识别文字，还能理解文档结构（表格、公式、阅读顺序）、抽取关键字段、进行跨元素语义推理。例如，PaddleOCR可以识别发票上的所有文字，但Xiaomi-OCR-0能直接输出"发票号码：12345678"这样的结构化JSON结果，并回答"这张发票的总金额是多少"这类需要语义理解的问题。

Q：0.8B参数的小模型如何在精度上超越数百亿参数的通用大模型？
A：核心在于数据质量与训练策略的差异。通用大模型使用海量通用数据预训练，文档理解只是其众多能力之一；Xiaomi-OCR-0则使用1.7亿条专门针对文档理解任务的高质量样本训练，这些样本经过异构专家共识标注（ETC）筛选和渲染引导校验，从源头保证了数据准确性。同时，渐进式三阶段训练策略（文本锚定预训练→多任务持续预训练→Mix-RL强化学习）使得模型在文档任务上实现了深度专业化，实现了"专精优于广博"的效果。

Q：Xiaomi-OCR-0支持哪些语言？中文效果如何？
A：模型基于Qwen3.5-0.8B训练，对中英文均有良好支持。在标准文档解析任务上，中英文效果均表现优异。需要注意的是，模型主要基于通用文档数据训练，对中文特定场景（如手写中文、复杂中文表格样式、古籍排版）的优化程度不及英文场景。中文古籍书法评测得分73分，但该评测样本有限且缺少横向对比。建议中文用户在特殊场景下进行针对性微调以获得更佳效果。

Q：如何在本地部署Xiaomi-OCR-0？需要什么硬件配置？
A：推荐使用NVIDIA GPU，显存≥4GB即可流畅运行。部署方式有两种：一是使用SGLang或vLLM部署为本地推理服务，通过HTTP API调用；二是直接集成transformers库进行推理。CPU环境也可运行但速度较慢。对于生产环境，建议使用SGLang以获得更优的推理性能，并配置合适的batch size以提升吞吐量。

Q：Xiaomi-OCR-0与TeleOCR（阿里）相比，各自的优势是什么？
A：两者参数规模相近（0.8B vs 1.2B），但定位不同。Xiaomi-OCR-0的优势在于三能力一体化（解析+KIE+VQA）和真实采集场景的鲁棒性（Real5-OmniDocBench 95.24分居首），且配套MCP与Agent Skill工具链，更适合端侧部署和智能体集成。TeleOCR在表格结构还原（TEDS 97.05）和Wild-OmniDocBench（88.53）上略胜一筹，但未主打KIE和OCR-VQA能力。选择取决于具体需求：表格精度优先选TeleOCR，多任务覆盖和端侧部署优先选Xiaomi-OCR-0。

Q：如何将Xiaomi-OCR-0接入到我的智能体（Agent）系统中？
A：项目提供了两种标准集成方式：MCP（Model Context Protocol）服务和Agent Skill。MCP服务以独立进程方式运行，通过JSON-RPC协议与主程序通信，支持"识别屏幕/文档—提取字段—执行下一步"的自动化流程。Agent Skill则是将模型封装为可复用的技能组件，可直接嵌入主流Agent框架。具体接入步骤参考仓库中的MCP配置文档和Agent Skill示例代码。

Q：模型支持哪些输入格式？可以处理PDF文件吗？
A：模型直接接受图像输入（支持JPG、PNG等常见格式）。对于PDF文件，需要先将其转换为图像（通常按页转换），再送入模型处理。建议使用两阶段管线：先用PP-DocLayoutV3检测版面区域，再逐区域送入模型识别。对于多页PDF，需逐页处理并自行拼接结果。

Q：Xiaomi-OCR-0的开源协议是什么？可以商用吗？
A：模型权重和代码已在GitHub和Hugging Face开源，采用Apache 2.0许可证，允许商业使用和修改。具体条款请参考仓库中的LICENSE文件。需要注意的是，模型基于Qwen3.5-0.8B训练，使用时也需遵守Qwen系列模型的相关使用条款。

9. 项目地址

• GitHub仓库： https://github.com/xiaomi-research/Xiaomi-OCR-0
• 项目官网（Demo体验）： https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
• Hugging Face模型库： https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
• arXiv技术论文： https://arxiv.org/pdf/2609.36136