Unlimited-OCR – 百度开源的端到端长文档 OCR 模型

1. Unlimited-OCR是什么

Unlimited-OCR是百度推出的端到端长文档OCR模型，通过创新的Reference Sliding Window Attention（R-SWA）机制将解码器KV cache从线性增长压缩为常数，实现单次前向转录数十页文档而无需逐页循环。模型基于3B总参、500M激活的MoE架构，在OmniDocBench v1.6上以93.92%总分取得端到端SOTA，推理速度达5580 TPS，代码与权重已全面开源。

技术定位与领域： Unlimited-OCR属于计算机视觉与自然语言处理交叉领域中的文档智能（Document Intelligence）方向，专注于端到端的光学字符识别（OCR）与版面分析。与传统OCR流水线（检测+识别+版面后处理）不同，该模型将图像编码与文本解码统一为单一生成过程，直接输出结构化文本、公式与表格，尤其擅长处理多页长文档的连续转录。

研发背景： 由百度视觉技术部主导研发，依托百度在OCR领域十余年的技术积累（如PaddleOCR、飞桨框架）以及在大规模视觉语言模型上的探索。研发动机源于现有OCR模型在处理长文档时面临的KV cache膨胀、推理延迟线性增长以及多页拼接精度下降等核心痛点，旨在提供一种“一次前向、整本输出”的高效解决方案。

核心价值： 该模型解决了长文档OCR中“页数越多、速度越慢、显存越大”的固有问题，将KV cache从随序列长度线性增长变为常数，使得20页、40+页文档的推理延迟与显存占用保持稳定。同时，R-SWA机制并非OCR专用技巧，可迁移至ASR、翻译、字幕生成等任何“参考源+长输出”的生成任务，具备通用解码架构价值。

技术特点： 采用双分辨率视觉编码（Base模式1024×1024用于多页长文档，Gundam模式动态分辨率用于单页高精度）、DeepEncoder（SAM-ViT级联CLIP-ViT）实现16倍token压缩、MoE-LLM解码器（3B总参、500M激活）配合Flash Attention v3内核，以及常数KV cache管理，使得推理全程延迟水平稳定，输出越长优势越明显。

2. 主要功能

• 超长文档一次识别： 支持2页至40+页PDF文档的单次前向转录，无需逐页for循环处理。用户将多页图像拼接为序列输入模型，即可一次性获得完整结构化输出，极大简化了多页文档的OCR流程，尤其适合批量处理合订本、学术论文集等场景。

• 多类型文档解析： 覆盖PPT、学术论文、书籍、彩色教材、试卷、杂志、报纸、笔记、研究报告等9类常见版式。模型通过端到端训练自动适应不同版面布局，无需针对每种版式单独配置模板或后处理规则，显著降低部署成本。

• 高精度内容提取： 文本、公式、表格、阅读顺序全链路端到端输出。在OmniDocBench评测中，公式CDM（内容匹配度）达95.79%，表格TEDS（树编辑距离相似度）达93.32%，阅读顺序编辑距离仅0.045，综合精度超越DeepSeek-OCR等竞品。

• 双分辨率视觉编码： Base模式采用1024×1024固定分辨率，适用于多页长文档的批量识别，兼顾速度与精度；Gundam模式支持动态分辨率（最高可至2048×2048），专为单页高精度场景设计，如复杂公式、密集表格的细节还原。

• 常数延迟推理： 基于R-SWA注意力机制，KV cache恒定为m+n（m为参考token数，n为滑动窗口大小），无论输出序列多长，推理延迟与显存占用均保持水平稳定。实测中，20页文档与40页文档的推理时间几乎相同，彻底打破传统模型的页数线性增长瓶颈。

• 通用解码架构： R-SWA机制并非OCR专属技巧，其设计思想适用于任何“参考源+长输出”的生成任务。官方已展示其在ASR（语音识别）、翻译、字幕生成等领域的迁移潜力，为长序列生成任务提供了一种新的基线方案。

3. 如何使用

1. 环境要求： 需要配备支持CUDA的NVIDIA GPU（推荐A100或以上），显存至少16GB（Base模式下）。操作系统支持Linux（Ubuntu 20.04+）和Windows（需安装WSL）。Python版本建议3.10以上，需安装PyTorch 2.0+、Transformers库（4.38+）或SGLang推理引擎。

2. 模型下载： 通过Hugging Face搜索baidu/Unlimited-OCR获取预训练权重，或从GitHub仓库`（链接待官方发布后更新） MoE架构），支持直接加载。

3. 输入准备： 将待识别文档的每一页转换为图像（支持PNG、JPEG格式），按阅读顺序拼接为列表输入。Base模式建议将图像统一缩放至1024×1024；Gundam模式可保留原始分辨率（最高2048×2048）。PDF文件需先使用工具（如PyMuPDF）逐页渲染为图像。

4. 推理调用： 使用Transformers库加载模型后，调用model.generate()方法传入图像序列，无需外部调度器分页处理。关键配置参数包括：max_new_tokens（根据文档长度设置，建议每页约512 tokens）、use_cache=True（启用常数KV cache）、attention_implementation="flash_attention_3"（启用Flash Attention加速）。

5. 扩展应用： 若需将R-SWA机制迁移至其他任务（如ASR），需修改参考token的定义方式，并调整滑动窗口大小（默认128）。官方提供了简单的迁移示例，建议用户参考GitHub仓库中的examples/目录。

6. 注意事项： 首次加载模型时会编译CUDA内核，耗时约1-2分钟；推理过程中若显存不足，可降低batch_size或使用torch.inference_mode()；对于极端长文档（超过100页），建议分批输入（每批40页）以避免序列长度超出模型训练时的最大序列32K限制。

4. 优缺点分析

5. 同类工具对比

选型建议：
对于需要处理大量多页英文文档（如学术论文、企业档案）且追求最高精度和最低延迟的场景，Unlimited-OCR是当前最佳选择，其常数KV cache特性在页数越多时优势越明显。若主要面向中文文档（如发票、身份证、营业执照），PaddleOCR凭借多年中文语料优化和轻量级部署能力更具实用性，且支持CPU推理。DeepSeek-OCR作为直接竞品，精度和速度均低于Unlimited-OCR，但其在单一页面的高分辨率识别上仍有优势，适合对单页质量要求极高且页数较少的场景。综合来看，Unlimited-OCR在长文档端到端OCR领域已建立显著的代差优势。

6. 编辑点评

Unlimited-OCR在技术创新性上值得高度评价。其R-SWA注意力机制从根本上解决了自回归解码中KV cache线性增长的顽疾，这一设计不仅适用于OCR，更为整个长序列生成领域提供了新范式——通过将“参考源”与“生成序列”解耦，使得模型可以在任意长度输出中保持常数计算成本。从实用价值看，该模型在OmniDocBench上以93.92%的总分刷新SOTA，公式和表格的端到端提取能力远超流水线方案，且代码与权重全面开源，降低了学术研究和工业部署的门槛。适用人群包括：需要批量处理学术文献的研究机构、需要数字化企业档案的IT部门、以及从事文档智能研究的开发者。未来发展潜力巨大：一方面，R-SWA机制可迁移至多模态对话、语音识别等场景，有望成为长序列生成的基础架构；另一方面，百度若能进一步优化中文语料和手写体支持，将覆盖更广泛的用户群体。

7. 应用场景

• 企业档案数字化： 批量处理成百上千页扫描版PDF、古籍、合订本，无需拆分即可一次性结构化提取。用户将多页图像序列输入模型，直接获得包含标题、正文、表格、页码的完整Markdown或JSON输出，大幅提升档案入库效率。

• 学术文献解析： 整本论文、期刊合辑、研究报告的端到端转录，保留公式、表格与阅读顺序。研究人员可直接将PDF论文输入模型，获取可编辑的LaTeX公式和结构化表格，用于文献综述、知识图谱构建等下游任务。

• 教育试卷批改： 多页试卷、练习册的批量识别，支持彩色教材与复杂版式。教育机构可将扫描的试卷图像批量输入，模型自动提取学生答案文本和题目内容，为后续自动批改系统提供结构化输入。

• 法律合同审核： 长篇幅合同文本的精准OCR提取，用于后续NLP分析与合规审查。法律从业者可将数十页合同一次性转录为可搜索文本，配合关键词提取、条款比对等工具，显著提升合同审查效率。

• 多语言翻译流水线： 作为R-SWA通用解码方案的验证场景，可扩展至ASR、字幕生成等长序列任务。开发者可将Unlimited-OCR的R-SWA注意力模块独立提取，嵌入到语音识别或机器翻译系统的解码器中，实现长音频/长文本的常数延迟推理。

8. 常见问题FAQ

Q：Unlimited-OCR支持中文文档识别吗？
A：模型训练数据以英文和数字文档为主，官方未提供中文专项评测。从技术原理看，模型具备多语言字符识别能力，但中文古籍、手写体等场景的精度有待验证。建议中文用户先在小规模测试集上评估，或结合PaddleOCR进行中英混合文档处理。

Q：如何将模型部署到CPU上运行？
A：模型基于MoE架构且依赖Flash Attention，目前仅支持NVIDIA GPU（CUDA）。若需CPU推理，可尝试使用ONNX Runtime导出，但官方未提供CPU优化方案，推理速度会显著下降（预计比GPU慢10-20倍），建议仍使用GPU部署。

Q：模型支持PDF直接输入吗？
A：不支持直接输入PDF。用户需先将PDF每页渲染为图像（推荐使用PyMuPDF或pdf2image库），再按阅读顺序拼接为图像列表。官方提供了示例脚本scripts/pdf_to_images.py，可参考使用。

Q：R-SWA机制可以用于其他模型训练吗？
A：可以。R-SWA是一种通用的注意力机制，官方已在GitHub仓库中提供了独立的r_swa_attention.py实现，并给出了迁移至ASR任务的示例。用户只需修改参考token的定义（视觉token改为音频特征）和滑动窗口大小即可。

Q：最大序列长度32K tokens能处理多少页文档？
A：取决于每页的token数。Base模式下每页1024×1024图像压缩为256个视觉token，加上约100-300个文本token，每页总计约356-556 tokens。32K tokens约可处理57-90页。若文档超过此长度，需分批输入并手动拼接结果。

Q：模型推理时显存不足怎么办？
A：可尝试以下优化：①使用Base模式（1024×1024）而非Gundam模式；②降低batch_size为1；③启用torch.inference_mode()和torch.cuda.amp.autocast()；④将模型权重加载为torch.float16。若仍不足，需更换更大显存的GPU。