跳到主内容

同一个长文档解析需求,3600页OCR怎么选:三种做法的代价对比表都在文中

先说结论:百页级以上的扫描件、财报、整本书要批量解析,我目前会把票投给文心 Unlimited OCR 2 这类端到端长文档模型;页数在几十页以内、要求全程本地可控、结果还要再加工的,PaddleOCR 那套逐页流水线依旧更稳。这份记录就是把上面这句话的取证过程摊开——三种做法各自怎么干活、代价落在哪、我为什么最后这么分。

官方发布里是这样写的:「几百页的招股书、砖头厚的合同卷宗、一整仓库的历史档案……从此彻底告别页数限制,一次解析、精准还原、连贯输出。」(来源:百度AI开放平台 10 月 27 日发布)

需求背景与硬约束

先记一条时间戳:10 月 27 日,百度发布并开源文心 Unlimited OCR 2,官方口径是「全球首次实现任意页数文档解析」,实测展示里它能一口气解析《哈利·波特》全系列 7 部作品,累计超过 3600 页——这个数字我先记下来,后面所有对比都拿它当量级锚点。开源中国 10 月 28 日的报道补充了一个细节:这一版重点解决了整站采集、长文档处理中「遇到异常页面后长时间卡住」一类的问题,说明 3600 页不是实验室数字,是带工程兜底的。

我为什么关心这件事。过去一年我在三类场景里反复撞到同一堵墙:一是财报类文档,合并报表天然跨页,逐页识别后表格从中间断开,数字对不上就得人工对账;二是整本书、整本研报,几十到几百页,切片喂给大模型后切片边界的段落被拦腰截断;三是历史档案卷宗,页数没上限,谁也不知道哪一页会出幺蛾子。这三类场景对工具的要求其实高度一致,归纳下来是四条硬约束:精度——表格里的数字错一个都不行;跨页连贯性——表格和段落不能断在页缝里;算力门槛——显存和机器谁出;结果可控——要能导出 markdown、xlsx,最好带边界框,方便后面接程序。

「页数自由」这个词在营销语境里见得多了,落到选型上它就变成三道很具体的题:跨页拼接谁来做、显存开销谁扛、识别错了谁兜底。11 月 13 日我顺手查了一下社区热度——GitHub 上 baidu/Unlimited-OCR 这个仓库 31,146 star、3,340 fork,MIT 协议,93 个 open issue 还挂着,热度没有随发布周过去而退潮。但热度不等于适配,三种做法到底差多少,第 5 节我会用同一张表量给你看。

候选方案一:本地分页轮跑的做法与代价

第一种做法是很多人现在的默认选项:本地 OCR 流水线逐页识别,再自己拼接。代表是 PaddleOCR 的 PP-StructureV3,10 月初我核对过它的参数表,有几个默认值值得逐项说清楚。use_table_recognition 默认 True,负责把版面里的表格区域抠出来做结构还原,如果手贱关掉,输出里只会给表格的位置不给结构,后面导 Excel 就没戏了;layout_threshold 默认 0.5,是版面检测的置信度阈值,调太高会把表格、公式当成普通文本漏掉,调太低会把页眉、页脚、水印都识别成正文块——这个参数没有万能值,得按自己的文档调;save_to_xlsx 控制把识别结果直接落成 Excel,配套的 merge_pages_to_one_excel 能把多页的表格结果并进同一个文件——注意,它并的是「多页各自识别的结果」,不是「一张被分页截断的表」。

这层区别是方案一的命门。站内之前写表格导出那篇(内网页面表格导出 Excel 实战:从 HTML 解析到自动识别方案)里有个观察我记到现在:真正可靠的做法是让程序按结构去解析,把合并单元格的位置关系保留下来,再原样写进目标文件。这个思路在单页内完全可行,可一旦表格跨页,页与页之间的位置关系就断了——模型只看得见自己那一页,第二页的续行它不知道该接到第一页第几行后面。拼接过线上下文,要么靠「续表」关键词写规则,要么靠人工对账,两种都要写胶水代码。

方案一的好处也得说全:全程本地,数据不出机器;结果格式可控,markdown 和 xlsx 要哪个有哪个;没有按量计费,跑一晚上只花电费。代价是识别速度——CPU 也能跑,但批处理场景下耗时随页数线性涨,有 GPU 会快很多。它的跨页拼接代价到底多大,先留个待验证项,第 5 节回填。

候选方案二:文心 Unlimited OCR 2 的做法与代价

第二种做法是端到端整本喂入,代表就是刚开源的文心 Unlimited OCR 2。它敢把上界推到「任意页数」,靠的是一个叫 SR-SWA 的注意力机制——稀疏参考滑动窗口注意力。官方的解释我觉得值得原样记一笔:这个机制借鉴了人抄书的过程——抄写的人通常专注当前页,只有在需要核对前文或查找跨页信息时,才会回看相关内容,而不是反复翻整本书。落到模型里分两步:页面门控(Page Gate)先把每个查询的视觉参考范围从整个文档缩小到相关页面,同时建模跨页的位置关系;然后引入得分最高的视觉 Token 桶(Token Buckets)捕捉长距离依赖。官方报告给的速度账是:百页文档场景下,SR-SWA 的单步解码速度比 Full Attention 快 7 倍、比上一代 R-SWA 快 5.6 倍——注意这两个倍数比的都不是「传统 OCR」,是它自己两代注意力机制的内部账,别拿去和别家直接比。

能力面上有三件事我逐项核对过:一是原生版面要素切分,标题、段落、表格、公式、图片端到端输出,同时交付边界框、块类型与结构层级,输出顺序与阅读顺序一一对应;二是跨页表格合并,自动识别延续关系并合并成完整一张表输出,官方管这叫把「表断页、数难找」从根上解决;三是跨页文案接续,被页码截断的段落由模型在语义层面重新接上。基准分方面,官方口径是 MPDocBench 综合 84.6 分、MarathonDocBench 77.1 分,双双端到端 SOTA,领先 Qwen 3.8-Max、Gemini-3.8-Flash、GLM-5.3-Flash、DeepSeek-4.1-Flash——这是官方提交口径,第三方复测我暂时没查到,先按这个采信,回头有复测再回填。

代价也得摆出来。本地部署要拉权重,Hugging Face 上是 baidu/Unlimited-OCR-2;我本机到大模型权重文件的下载一直不稳定,几十 GB 的量级没拉下来,所以「本机实跑精度复测」这件事我还没做成——这点知之为知之,写清楚。云侧它已同步上线百度智能云和百度 AI 开放平台,按调用量计费,具体价格以官方最新说明为准。自建 GPU 那条路,显存要求得看仓库 README 的最新说明,我不猜数字。

候选方案三:通用多模态大模型切片的做法与代价

第三种做法最省事也最常见:把长 PDF 切成小片,逐片喂给通用多模态大模型,最后自己把结果拼起来。站内那篇长文档切片助手:免费把几十页的 PDF / Word 切成小片就是这个思路的前置工具——先把大文件拆小,再进下游流程。它不用部署任何模型,模型生态熟,提示词随调随改,一次性需求半天就能跑通。

但代价有四条,一条比一条隐蔽。第一是页数上限与截断:每片切多大、模型上下文吃不吃得下,配比只能自己试,切太薄成本翻倍,切太厚尾部被截断你还不一定发现。第二是跨页表格照样断成两截——切片是按页码切的,模型看着第二页的前半张表,不知道上面还有三行。第三是成本按 token 线性涨,3600 页这个量级跑一轮是什么价,各家定价不同,以各家最新报价为准,但方向上肯定不是小数目。第四条最少被提到:输出格式不稳定。同一个切片让模型跑两次,markdown 的层级和列名可能不一样,拼接时对不上号。

切片边界的坑我在别的场景里吃过。之前处理一张 12000 像素高的长表格截图,按固定高度切块分别识别,块与块交界处的行被切半,识别结果要人工对账才能拼回去——那次教训记进长表格切图识别的踩坑记录里了。切片策略的问题是通用的:切的地方永远不在语义边界上。所以三种做法里,方案三的工程量其实不在识别,在拼接与对账,这部分代码写起来琐碎,改起来更琐碎。

如果只做一次实测,样本应该怎么设计

不管最后选哪条路,动手前那一次盲测的样本设计决定了结论的可信度。样本别只用好文档——我见过太多人拿一份打印清晰的 PDF 跑三家工具,得出「都差不多」的结论,一进真实卷宗全露馅。我的建议是三种料按比例掺:十页年报,里面故意放两张跨页表格,一张是常见的前半表在后半表(表体延续),一张是更刁的合并单元格跨页延续,专测延续关系识别;四十页书稿,测段落接续和阅读顺序;十页低质量扫描件,倾斜、噪点、残缺框线各占几页,测下限。总共六十页,规模刚好够暴露问题,又不至于跑一轮要等一晚上。

评分表在跑之前就要定死,不然跑完容易「各打五十大板」。四列:数字错几处(只统计表格里的关键数值,正文数字不算);表格结构完整与否(行列对齐、合并单元格保留、续表表头不重复);耗时(从提交到结果落盘,含人工等待);格式稳定性(同配置跑第二遍,输出结构是否一致)。第二条要特别留意「第二遍」——我之前测采集工具时记过一个现象:复用后单页 0.70 秒,和第一遍的 0.765 秒几乎打平,省时间的方案没省出时间,原因是复现成本被低估了。OCR 这边同理,第二遍跑的意义是测稳定性而不是测速度,模型类方案对同一输入输出的抖动,是选型里最容易被忽略的一项。

耗时这列还要记一个容易被忽略的成本:中间态的人工介入。逐页流水线跑完,拼接对账要花多久,得计时记进总账——很多团队只算机器时间不算人工时间,结论直接反掉。云 API 方案则要记录失败重试的次数和单页平均耗时,把限流、超时这些隐性成本一并入账。走查跑完,把三条链路的数据并排摆进第 5 节那张对比表,你的实际数字替换掉我的推断,选型结论基本就不需要再靠谁的评测背书了。

逐项拆解:结构化输出里每个部件各管什么

两种端到端方案都宣称输出「结构化」,但结构化输出里的每个部件分别管什么、丢了会怎样,值得逐项摊开。先说 Unlimited OCR 2 官方口径里的五类版面要素:标题——层级从章到节到小节,丢了它,后面做知识库检索时整篇文档的目录结构就塌了;段落——含跨页接续,它是最容易出「看起来没错、细读丢句」问题的地方,验收时抽两段跨页段落逐字比对;表格——含合并单元格与跨页合并,这是财报场景的核心,出错代价最高;公式——学术与研报场景刚需,传统 OCR 基本只能放弃;图片——定位与类型标记,供下游决定是提取、跳过还是配图注。

五类要素之外还有三个技术部件,恰恰是程序化消费的关键。边界框——每个块在页面上的坐标,有了它才能做「点击原文位置跳转」这类交互,也能用来做版面还原渲染;PP-StructureV3 侧同样给框,两家在这点上打平。块类型——告诉下游这块是正文还是页眉页脚还是脚注,少了它,页码会被当成正文编号混进段落里,我处理扫描件时见过这种脏数据,清洗起来比重做识别还费劲。结构层级——输出顺序与阅读顺序一一对应的保证,双栏排版的文档尤其靠它,顺序错了等于整篇文档的语义被打乱。

拿这七个部件去反查三种方案:本地流水线五类要素齐全但跨页部件(延续关系、跨页合并)要自己补;Unlimited OCR 2 七件全有,且跨页是原生能力;大模型切片五类要素要靠提示词约束,边界框基本没有,层级稳定性最差。这张清单还有个附带用处:验收时按七项逐项打勾,比「大概看了眼没问题」靠谱得多——之前给 PDF 提取工具做出厂验收时,我们就是按「无界面自检断言 + 界面回归」两轮清单跑的,页码解析、路径拒绝这些单项各设断言,上线后问题少了一大截。清单化验收在文档处理领域是通用的,值得照搬。

横向对比:一张表把三条路摆在一起

把三种做法放进同一张表,按对比选型该有的样子来——成本、稳定性、维护量单独成列:

维度本地分页流水线(PP-StructureV3 类)文心 Unlimited OCR 2大模型切片
跨页表格自己写拼接规则或人工对账模型原生合并延续关系自己写拼接,切片边界易断
结果格式markdown / xlsx 可控,带边界框结构化输出 + 边界框 + 层级不稳定,两次运行可能不一样
算力门槛CPU 可跑,GPU 提速自建要 GPU;或走云 API无,纯 API 调用
成本结构电费 + 机器折旧云侧按量,或 GPU 一次性投入token 随页数线性涨
稳定性高,同一输入行为可复现新发布,社区观察期随模型版本漂移
维护量拼接胶水代码 + 阈值调参用 API 则很低拼接对账代码最琐碎

基准分再补一张小表,数字全部来自官方口径,新华网与科技日报 10 月 27 日的转载口径一致,算第二证据源互证:

基准考察对象得分官方表述
MPDocBench多页文档解析84.6端到端性能 SOTA
MarathonDocBench百页级超长文档解析77.1端到端性能 SOTA

这张表让我想起之前做动态网页抓取时的一个体验:把两组数摆一起,结论有时反直觉——单页复用 0.70 秒和直接请求 0.765 秒几乎打平,按理该省时间的方案没省出来。所以我给 OCR 选型的建议一样:先用 10 页混合样本把三条链路各跑一遍再下结论,别直接信任何一张表,包括我这张。目前看端到端方案在跨页场景占优,但如果你的文档全是单页表单,这个优势就不成立——单页场景下 PP-StructureV3 的本地可控反而更值钱。

我最后选了哪个:分流而不是替代

我的答案是分流。之前写 wordcraft 部署那篇时提过一个说法我沿用到现在:把「替代」换成「分流」,新东西接新需求,存量留在老地方,等它过观察期再谈迁移。落到 OCR 上就是三条线:存量几十页以内、表格要导 xlsx、要求结果可改的,继续走 PP-StructureV3 本地流水线;百页以上、跨页报表、整本书的,走 Unlimited OCR 2——先用云侧 API 起步,别一上来就自建 GPU;临时性、一次性的需求,随便切片喂大模型,跑完就扔,不值得搭流水线。

敢下这个结论,是因为我用了两套独立来源互证——之前做舆情监测吃过亏,单靠一套数据下了判断,后来换第二套才发现口径有问题。这次第一套是官方基准分,第二套是社区热度数据:第一代 6 月 22 日发布,次日登顶 GitHub Daily Trending 总榜和 Python 榜、Hugging Face 双榜,5 天 star 破万;到 10 月 29 日科学网报道时 GitHub 2.85 万 star、Hugging Face 累计下载破 1000 万次;我 11 月 13 日实测是 31,146——两周涨了约 2600,两边数据独立增长且方向一致,这个信号才算立得住。图灵奖得主 LeCun 转发推荐这件事我看到了报道原文,但那属于「别人说的」,不进我的判断依据。

还有一个工程习惯要交代:开源模型今天 31,146 star,下个月可能 4 万,文档和参数跟着变。所以凡是给团队交付的解析流程,我会把仓库钉在 commit 上——commit hash 和依赖版本一起写进交付文档,半年后回看才知道当时跑通的是哪一版。

没选的那两个为什么放弃

先说方案一放弃的原因,得说清楚:不是流水线不好,是它对不上「百页以上 + 跨页报表」这个具体需求。跨页拼接的胶水代码看着不大,写起来才知道全是边角——我以为是识别精度问题,表格数字对不上,排查到第二步才发现是拼接层把页码顺序排错了,识别层一点错都没有。这种 bug 的可怕之处在于两层各自都对,错在中间的 assumption。另外版面阈值调参是沉没成本,layout_threshold 从 0.5 往上下试,每改一档都要重跑全量样本,一批几百页跑下来就是一晚上。

方案三放弃得更干脆:成本和输出稳定性两条硬伤在这个量级绕不过去。3600 页切片喂大模型,token 费用随页数线性涨,而这批文档是周期性任务不是一次性任务,每次都要烧一遍;输出格式不稳定意味着拼接对账代码永远修不完——这不是「用提示词约束一下」能解决的,结构漂移是概率问题,样本量大了必现。

放弃之前还留了一条边界提醒,从之前写 PDF 工具时记下的观察改过来:别把「识别出来了」当成「解析完成」。正文、表格值、公式、图片说明是四类东西,验收要分开看——工具的清理能力只覆盖它声明的那一层,剩下的层级要自己补验收。这个道理对 OCR 同样成立:模型说表格合并了,你还是要抽 20 页人工复核,才能说这条流水线能上生产。

换场景该怎么选:三层规模的参数与代价

上面是按我自己的需求选的,不同规模的选择不一样,直接给分层表:

规模典型量级推荐做法关键参数 / 动作代价
个人 / 小批量每月几十页本地流水线或云 API 都行layout_threshold 从 0.5 起试;save_to_xlsx 开CPU 慢跑耗时,或少量 API 费
中等团队每周千页级云侧 API 起步,观察量级再议自建钉 commit;输出统一转 markdown 存档按量费用随页数涨
规模化数字化档案级、上万页混合架构:端到端跑全文 + 本地流水线复核关键页抽检比例先定 10%,按错误率回调GPU 投入 + 双链路维护

动手前建议做一次 10 页盲测,清单照抄我给采集类工具做验收的思路:先做无界面自检,把页码解析、表格结构还原、数字换算、去重这些断言列成清单,三条链路各跑一遍同一份样本——这份样本要故意掺料:跨页表格至少 2 张、公式 1 组、页眉页脚干扰页 1 页。评分统一口径:数字错几处、表格结构完整与否、总耗时多少。跑完三条链路的数据摆在一起,选型结论基本自己就浮出来了,不需要再听谁安利。

兜底动作也要预设好。批量任务连续失败时,别让脚本盲重试,手动开一个终端把前台日志调出来看——真实报错留在眼前,比隔着日志文件猜快得多,这是我在采集工具排查里反复验证过的。另外百度世界 2026 大会在 11 月 12 日刚开过,官方预告将进一步展示这个模型的应用潜力,等它放出更多落地口径,我再来回填这篇的观察。

最后留一个我还没搞懂的点:SR-SWA 在跨页引用密集的文档——比如法律卷宗里「见第 37 页第 3 条」这类交叉引用——的召回能力到底怎么样,官方报告里没有单独的指标。下一步验证方法我想好了:构造一份带交叉引用的测试卷宗,看它回查前文的命中率,结果出来会更新到这里。

常见问题

没有独立显卡,能用文心 Unlimited OCR 2 吗?能,但走云侧。它已同步上线百度智能云平台和百度 AI 开放平台,按调用量计费,本机只负责提交文件和收结果;本地部署才需要 GPU,显存的具体要求以仓库 README 的最新说明为准,我不替官方猜数字。另外我自己「CPU 推理到底能不能跑」这个验证没做成——权重没下载成功,这点留给环境更好的读者补测。如果你的文档里有敏感信息不能出本机,那云侧这条路直接排除,只能等本地 GPU 方案。

开源了是不是就等于完全免费?不是一回事。我 11 月 13 日查的仓库 LICENSE 是 MIT,管的是代码怎么用、怎么改、怎么分发;模型权重放在 Hugging Face 上,下载和使用遵循平台与官方的对应约定;而百度智能云和 AI 开放平台上的 API 调用是商业服务,计费规则、免费配额、限流策略都以官方最新说明为准。「开源」和「免费」被混着说的情况太常见了,选型前把这三层——代码、权重、云服务——分开核对一遍,能省掉很多后续扯皮。

跨页表格合并真的不用人工管了吗?官方口径是自动识别延续关系并合并为完整一张表输出,我建议把它当「默认能力已具备、验收不能省」来用。具体的做法是拿 20 页左右的财报做抽样:重点看合并单元格跨页后有没有错位、续表有没有把表头重复带一遍、表格框线残缺的扫描件能不能接上。识别对了也别全免人工——财报数字的容错是零,模型合并对了一百张表,错一张的代价也是整份报告返工。抽检比例可以按我分层表里说的先定 10%,跑几批看错误率再调。

MPDocBench 84.6 分到底意味着什么?它是官方提交口径下多页文档解析基准的端到端综合分,官方称达到 SOTA、领先 Qwen 3.8-Max 等一串模型。但基准分不等于「你的文档上的精度」——基准集的文档类型、扫描质量、版面复杂度和你的真实材料是两个分布,这句话对任何榜单都成立。我自己的用法是拿基准分做初筛(84.6 至少说明它在这个任务上不是陪跑),然后立刻用 10 页自有样本盲测定生死。第三方独立复测我目前没查到,等有复测数据我会回填。

老扫描件清晰度很差,还有救吗?分两步看。任何 OCR 都有清晰度下限,低于下限时换再强的模型也救不回缺失的笔画,这种页面要在前端处理——提高扫描分辨率、去噪、纠偏。在「能认但不确定」的中间地带,多模态端到端模型理论上比纯识别流水线更稳,因为它能靠语义补齐版面关系,但这是推论不是实测结论,我样本里没有足够多的低质量件来验证。稳妥的做法是把低质量页单独标出来跑盲测,按错误率决定这批是人工录入还是模型硬啃,别拍脑袋。

相关阅读

分享到:

本文链接:https://www.biyeyuanma.cn/post/426.html

服务热线

加我微信

加我微信