OXR:SoMark 开源的 1.3B 文档解析模型,面向 Agent 的智能文档理解新选择
导读摘要:
OXR 是守扣科技 SoMark 开源的 1.3B 参数文档解析模型,专注于将 PDF 与文档图片解析为 Agent 友好的 Markdown/JSON 结构化数据。该模型能够识别文字、表格、公式、化学方程式/结构式、代码块等 13 类文档元素,并输出版面坐标与阅读顺序信息。OXR 在后训练阶段引入 RSI(Recursive Self-Improvement)自我改进闭环,在 OmniDocBe...
1. OXR是什么
OXR 是守扣科技 SoMark 开源的 1.3B 参数文档解析模型,专注于将 PDF 与文档图片解析为 Agent 友好的 Markdown/JSON 结构化数据。该模型能够识别文字、表格、公式、化学方程式/结构式、代码块等 13 类文档元素,并输出版面坐标与阅读顺序信息。OXR 在后训练阶段引入 RSI(Recursive Self-Improvement)自我改进闭环,在 OmniDocBench、olmOCR-Bench、DocParsingBench 三项权威基准测试中均位列第一,同时保持领先的解析速度。
技术定位与领域: OXR 属于文档智能解析领域,具体覆盖 OCR(光学字符识别)、版面分析、结构化信息抽取与文档理解等子方向。其独特定位在于面向 AI Agent 与自动化工作流设计输出格式,而非仅提供传统 OCR 文本结果,在 RAG 知识库构建、企业文档数字化、科研出版等场景中具有明确的应用指向。
研发背景: OXR 由守扣科技(SoMark)团队开发并开源。该团队在文档解析与 AI 工程化领域具备技术积累,选择从零预训练 1.3B 参数模型而非基于通用大模型微调,体现了对文档解析任务专用性的重视。开源策略旨在降低企业接入文档解析能力的门槛,同时通过社区反馈加速模型迭代。
核心价值: OXR 解决了传统文档解析方案在元素覆盖不全、版面信息缺失、输出格式不统一等方面的核心痛点。其输出的 Markdown/JSON 格式可直接被下游 Agent、RAG 系统和大模型工作流消费,省去了繁琐的后处理环节。可插拔的版面分析模块设计,使企业能够根据业务需求替换自定义版面模型,显著降低跨领域适配成本。
技术特点: OXR 采用轻量 Layout Analysis 模型与主模型协同的两阶段架构,在识别阶段同步完成内容识别与阅读顺序判断,减少独立排序开销。后训练阶段引入 RSI 闭环机制,由多个模型分析错样本与弱样本并自动生成训练策略与数据,减少人工标注依赖,形成可持续进化的技术路径。
2. 主要功能
文档转结构化数据: 将 PDF 和文档图片直接解析为 Markdown 或 JSON 格式,输出结果经过版面组织与语义排序,可供 Agent、RAG 管道和下游业务系统直接消费,无需额外编写解析逻辑。
多元素识别覆盖: 支持文字、表格、公式、化学方程式、化学结构式、代码块等 13 类文档元素的同时识别与分类,覆盖学术论文、技术文档、试卷、研报等多种文档类型,元素覆盖面在开源模型中处于领先水平。
版面信息输出: 为每个识别元素提供边界框坐标,并按照人类阅读顺序组织内容层级。这一能力使解析结果不仅包含文本内容,还保留了版式结构信息,对于复杂文档的还原与引用定位至关重要。
复杂版式处理: 针对多栏论文/报纸、A3 试卷、竖排文本、中英文手写等难点场景进行了专门优化,能够处理常规 OCR 工具容易出错的非标准版面,提升真实业务场景下的可用性。
可定制版面分析: 版面分析被拆分为独立模块,支持替换为第三方或自研版面模型。企业可根据业务需要重新定义元素类别、区域边界和内容分组规则,在保留 OXR 内容识别与阅读顺序能力的同时实现跨域定制。
多方式接入: 提供免费 API、在线 Demo、Docker 一键部署及源码部署四种接入方式,并兼容 SoMark CLI/SDK(somark-py、somark-js),开发者可根据数据安全要求和基础设施条件灵活选择部署形态。
高效推理性能: 通过任务级解析流程重构,1.3B 小模型在保持高精度的同时获得更高吞吐。官方在 RTX PRO 6000 上对比同条件 100 页解析,OXR 约耗时 101 秒,快于 PaddleOCR-VL-1.6 与 MinerU2.5-Pro。
RSI 自我改进闭环: 后训练阶段引入递归自我改进机制,由多个模型对错误样本和弱样本进行多角度分析,自动生成训练策略与数据,形成持续迭代的进化闭环,减少对人工标注的依赖。
3. 应用场景
RAG 知识库入库: 将 PDF、扫描件等非结构化文档转换为带结构坐标的 Markdown/JSON 数据,显著提升知识库构建时的切片质量、向量召回准确率与引用溯源能力。企业可将 OXR 部署在文档预处理管道中,作为 RAG 系统的标准入口组件。
金融/研报解析: 金融行业研报普遍采用多栏排版并包含大量复杂表格与图表说明。OXR 能够稳定输出表格结构、图表标题与正文内容的正确层级关系,帮助投研平台实现研报的自动化结构化入库与关键数据抽取。
教育与考试数字化: 针对 A3 试卷、竖排文本、中英文手写内容等教育场景的典型难点,OXR 可服务于题库建设、在线阅卷、错题分析等环节,将纸质试卷批量转化为可检索、可编辑的数字资源。
科研与出版流程: 学术论文中的数学公式、化学方程式和化学结构式是通用 OCR 的常见难点。OXR 可将公式转为 LaTeX、化学方程式转为 mhchem、结构式转为 SMILES 表示,便于科研人员在写作、出版和文献管理中直接复用。
企业文档 Agent: 为合同、简历、档案、代码文档等企业高频文档类型提供结构化输入,支持通过替换版面分析模块适配行业特有版式,使文档 Agent 能够准确理解版面语义并执行后续自动化操作。
4. 如何使用
环境要求: 推荐使用配备 NVIDIA GPU 的 Linux 环境,官方测试基于 RTX PRO 6000 完成。本地部署需具备 Docker(推荐 all-in-one 方式)或 Python 3.8+ 环境,并预留足够的磁盘空间存放模型权重(BF16 精度约 2.6GB)。
下载资源: 克隆 GitHub 仓库(https://github.com/SoMarkAI/OXR),从 Hugging Face 或 ModelScope 下载 OXR-1.0 BF16 权重文件,并放置于本地模型目录。
Docker 启动: 构建
docker/Dockerfile.allinone镜像,启动时将模型目录挂载至容器内对应路径。服务启动后,浏览器访问localhost:8000/demo可打开在线演示界面,访问/docs可查看 API 文档。源码部署: 按顺序启动 OXR 模型服务、Layout Analysis 服务,最后启动文档解析 API 服务,并在
config.yaml中正确配置各服务地址与模型路径。此方式适合需要对组件进行定制或调试的开发者。发起解析: 调用
/v1/parse/sync同步接口或对应的异步接口提交解析任务,也可使用 SoMark CLI/SDK,将 base URL 指向本地服务地址后提交文件。获取结果: 在请求参数中选择
markdown或json输出格式,解析完成后下载结果文件,检查元素坐标信息与阅读顺序是否符合预期。生产接入: 将本地服务或 SoMark 商业服务接入业务管道,根据实际文档类型评估版面分析效果,必要时替换或微调版面分析模块以适配特定业务场景。
5. 优缺点分析
| 优点 |
|---|
| 三榜精度领先: 在 OmniDocBench(97.18)、olmOCR-Bench(87.84)、DocParsingBench(87.76)三项基准中均排名第一,表格场景优势尤为突出,精度表现经得起第三方基准检验。 |
| 解析速度快: 同条件 100 页解析约 101 秒(RTX PRO 6000),官方列为参测开源模型第一,高吞吐特性适合大规模文档批处理场景,可有效降低算力成本。 |
| 元素覆盖广: 支持文字、表格、公式、化学方程式/结构式、代码块等 13 类元素,覆盖了学术、金融、教育等多个行业的核心文档类型,减少了多工具拼接的集成成本。 |
| Agent 友好输出: 直接输出带版面坐标与阅读顺序的 Markdown/JSON,可无缝接入 RAG 和 Agent 工作流,省去传统 OCR 后处理环节,显著降低系统集成复杂度。 |
| 版面分析可插拔: 独立模块设计支持替换第三方或自研版面模型,降低跨域适配成本,为企业定制化部署提供了灵活的技术路径。 |
6. 同类工具对比
| 对比维度 | OXR | TeleOCR | MinerU2.5-Pro |
|---|---|---|---|
| 模型规模 | 1.3B 参数 | 约 1.2B 参数 | 未明确公开 |
| 技术路线 | 轻量版面模型 + 主模型两阶段;识别与阅读顺序同阶段完成 | 单一端到端模型,同时处理数字文档与拍摄文档 | 开源文档解析工具链,PDF 内容抽取管线 |
| 元素覆盖 | 13 类:文字、表格、公式、化学方程式/结构、代码块等 | 文字、版面、表格、公式、科学图表 | 文字、表格、公式、图片、页眉页脚等 |
| 特殊能力 | 化学结构式转 SMILES、方程式转 mhchem | 科学图表转表格、实拍文档畸变校正 | 阅读顺序还原、页眉页脚去除、公式 LaTeX 化 |
| 精度表现 | OmniDocBench 97.18、olmOCR 87.84、DocParsingBench 87.76 | OmniDocBench v1.6 96.87、Wild-OmniDocBench 88.53、PureDocBench 78.41 | 依赖具体配置与模型版本,官方未提供统一基准口径 |
| 速度表现 | RTX PRO 6000 上 100 页约 101 秒,官方称开源第一 | 官方口径优于 MinerU2.5-Pro、PaddleOCR-VL-1.6、OvisOCR2,未见绝对耗时 | 官方未提供统一基准口径 |
| 版面分析 | 独立可插拔,可换第三方/自研模型 | 端到端内置,未见可替换设计 | 内置版面分析模型,不支持替换 |
| 阅读顺序 | 与识别同阶段完成,结合语义判断 | 端到端统一处理 | 后处理阶段还原 |
| 部署方式 | Docker all-in-one、源码部署、免费 API、在线 Demo | 开源模型权重,需自行部署 | 开源工具链,支持 pip 安装与自托管 |
| 开源协议 | 开源,具体协议以仓库为准 | 开源,具体协议见 arXiv 报告与仓库 | 开源(AGPL 类协议,商用需注意) |
| 典型适配 | 复杂版式定制、Agent 工作流、需替换版面模型的业务 | 扫描/实拍混合来源、科学文献、移动端拍摄文档 | PDF 内容抽取、RAG 预处理、批量文档转换 |
选型建议: 对于需要构建 RAG 知识库或 Agent 工作流、且对输出格式和版面信息有明确要求的企业,OXR 的 Agent 友好输出、可插拔版面设计和三榜精度表现使其成为值得优先评估的选项,尤其是涉及化学、教育等特殊元素识别需求的场景。若业务主要处理手机拍摄文档、扫描件等实拍混合来源,TeleOCR 在畸变校正和实拍场景的专项优化更具针对性。
对于已深度使用 PaddleOCR 生态或 MinerU 工具链的团队,迁移成本是需要重点考量的因素。OXR 的优势在于解析质量和输出规范性,但生态成熟度和社区资源方面,PaddleOCR 与 MinerU 经过更长时间的积累更为丰富。建议企业在实际数据集上进行小规模对比评测,结合精度、速度、部署成本和生态适配综合决策。
7. 编辑总结
OXR 的发布为文档解析领域提供了一个值得关注的新选项。从技术创新性来看,RSI 自我改进闭环的引入是其在后训练阶段区别于传统监督微调的重要差异点——通过多模型协作分析错样本与弱样本、自动生成训练策略与数据,在一定程度上减少了对人工标注的依赖,为文档解析模型的持续迭代提供了新的技术路径。两阶段架构中识别与阅读顺序同阶段完成的设计,也体现了解析流程重构的工程思考。
从实用价值角度,OXR 将「解析精度」与「输出可用性」放在同等重要的位置。直接输出带坐标与阅读顺序的 Markdown/JSON,意味着下游系统可以省去传统 OCR 后的清洗、排序、结构化等环节,这种设计思路贴合当前 RAG 和 Agent 应用对文档预处理的实际需求。可插拔的版面分析模块进一步降低了跨领域适配成本,使企业能够在不更换主模型的前提下定制版面规则。
适用人群方面,OXR 主要面向三类用户:一是需要构建高质量 RAG 知识库的技术团队,二是金融、教育、科研等存在复杂文档解析需求的行业开发者,三是对版面定制有特殊要求的企业级用户。对于个人开发者和中小团队,免费 API 与在线 Demo 提供了低门槛的体验路径。
从发展潜力来看,OXR 在三项基准中的领先表现和开源策略为其积累了初步的技术可信度,但作为新发布项目,其社区生态、文档完善度和长期迭代节奏仍需时间检验。RSI 闭环机制若能在后续版本中持续验证效果并公开更多技术细节,有望形成差异化的技术竞争力。文档解析是 AI 应用落地的基础设施环节,OXR 在这一赛道上的表现值得持续关注。
8. 常见问题FAQ
Q:OXR 与通用 OCR 工具有什么本质区别?
A:通用 OCR 工具主要输出纯文本或简单的文本框位置,而 OXR 输出的是带版面坐标、阅读顺序和元素类别标签的 Markdown/JSON 结构化数据。它不仅能识别文字,还能区分表格、公式、化学结构式等 13 类元素,并按照人类阅读顺序组织内容,输出结果可直接被 RAG 系统和 Agent 工作流消费。
Q:RSI 自我改进闭环具体是如何工作的?
A:RSI(Recursive Self-Improvement)是 OXR 后训练阶段引入的迭代机制。其核心流程是:由多个模型对训练过程中的错误样本和弱样本进行多角度分析,自动生成改进训练策略和新的训练数据,再将这些数据用于下一轮训练。这一闭环减少了对人工标注的依赖,使模型能够持续从自身错误中学习。
Q:OXR 的版面分析模块可以替换吗?如何操作?
A:可以。OXR 将版面分析拆分为独立模块,设计上支持替换为第三方或自研版面模型。操作方式为:在源码部署模式下,将自定义版面模型的输出格式对齐 OXR 的接口规范,并在 config.yaml 中配置新的版面服务地址。替换后,OXR 的内容识别与阅读顺序能力仍然保留。
Q:OXR 支持哪些输入格式和输出格式?
A:输入支持 PDF 和常见文档图片格式。输出支持 Markdown 和 JSON 两种格式,JSON 格式中包含元素类型、边界框坐标、阅读顺序等结构化信息,Markdown 格式则适合直接用于文档展示和内容复用。
Q:本地部署 OXR 需要什么样的硬件配置?
A:官方测试基于 RTX PRO 6000 GPU,模型权重为 BF16 精度(约 2.6GB)。推荐使用具备 16GB 以上显存的 NVIDIA GPU 以获得较好的推理速度。CPU 推理理论可行但速度较慢,不适合生产环境。Docker 方式部署最为简便,源码部署需要分别启动三个服务组件。
Q:OXR 是否可以免费商用?
A:OXR 以开源形式发布,模型权重托管于 Hugging Face。具体开源许可证条款以 GitHub 仓库和 Hugging Face 模型页面标注为准。此外,SoMark 提供商业服务版本,适合需要技术支持、SLA 保障或大规模生产部署的企业用户。
9. 项目地址
- GitHub 仓库:https://github.com/SoMarkAI/OXR
- Hugging Face 模型库:https://huggingface.co/SoMarkAI/OXR-1.0
版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。




