项目背景与目标
先给结论:内网页面表格导出 Excel,问题不在"能不能导",而在"选哪条路线"。路线选错,后面每一步都在还债。这篇文章把我手上一次真实取数任务拆开讲:目标页面是内网系统里的经营报表,没有任何接口可用,页面本身就是唯一的数据源,最终要交付一份能直接算数的 xlsx。
站内之前有一篇内网页面表格导出Excel实战,讲的是拿到 HTML 之后怎么解析、怎么自动识别表格。那篇解决"怎么拆",这篇解决"怎么选"——拿到一个页面,先判断走复制粘贴、截剪贴板、抓源码、渲染后取 DOM 还是截图 OCR,五条路线各有前提,选错一条,工程量差一个量级。
任务拆成三个目标。第一,数据必须能算数:金额列进 Excel 是数字,不是文本;编号列的前导零不能丢。第二,过程可复现:换一个同类型的页面,改配置不改代码就能跑。第三,出错可定位:哪一列、哪一行清洗失败,要有清单,不能只给一个"导出失败"。这三个目标后来成了衡量五条路线的隐含标尺,打分表里的维度就是从它们推出来的。
这个目标和"随手复制粘贴"是冲突的。复制出来的东西看着对,粘到 Excel 里千分位、全角空格、合并单元格全都会出事,后面专门有一节按坑逐个算账。
硬约束:内网环境的三条限制
内网取数和公网爬虫是两个世界,先把自己头上三道约束写清楚,选型才有依据。
第一道约束是网络隔离。内网机器出不了公网,装库只能靠离线安装包或者内网源。这意味着选型时不能假设"pip 一下就有",lxml、pandas、openpyxl 这类有二进制依赖的库要提前在能上网的机器上下载 wheel 再拷进去。工程耗时这一维度上,任何需要现场编译的方案都要扣分。
第二道约束是权限边界。内网系统多半有登录态和操作审计,账号能看什么页面就只有什么页面。之前帮人做一份季度底稿,我原本以为核对几个口径就能交差,结果光确认"这份数据以哪个系统为准"就返工了三遍,最后敢写进交付物的源只剩四个——内网场景里"数据源有几个、以谁为准"这个问题比解析本身更花时间。
第三道约束是浏览器版本。内网 Windows 常年停在老版本,老内核渲染出来的 DOM 和现代浏览器不一致,靠新特性写的解析逻辑在内网页面上可能直接失效。这一条直接影响路线 D(渲染后取 DOM)的得分,后面细说。
三条约束合在一起,把"引入重型框架""依赖公网服务"这类方案提前排除了。硬约束没写清楚就开工,是这类任务返工的头号原因。
补一段实测过程,说明离线安装的真实成本。lxml、pandas、openpyxl 三个库的 wheel 文件加起来约二十几兆,在能上网的机器上用 pip download 按"目标机 Python 版本加平台标签"下载,拷进内网后 pip install --no-index --find-links ./wheels 包名 离线安装,三个库全程不到两分钟。第一次没带平台标签下错了 wheel,内网机器上安装报"不是受支持的 wheel",重新下载才过——离线场景没有"现场换源"这个退路,下载时的版本核对比在线安装更重要。有二进制依赖的库(lxml 是典型)尤其如此,纯 Python 的库拷源码包也能装,不挑平台。
技术选型与理由:五个维度给五条路线打分
把候选路线列全,一共五条:A 人工复制粘贴直接进 Excel;B 截获剪贴板里的 HTML(CF_HTML)自己解析;C 服务端拿源码用 pandas.read_html 解析;D 无头浏览器渲染后取 DOM;E 截图走表格 OCR。评价维度定五个,权重先摆出来——没有权重的总分没有意义。
| 维度 | 权重 | 这一项考什么 |
|---|---|---|
| 前提门槛 | 0.30 | 路线成立需要哪些前置条件,缺一条整个方案作废 |
| 还原精度 | 0.25 | 数字、合并单元格、表头层级能不能原样落进 Excel |
| 工程耗时 | 0.20 | 从动手到交付第一份可用文件的投入 |
| 数据量上限 | 0.15 | 页面之外还能不能批量、能不能翻页 |
| 可复用性 | 0.10 | 换一个同类页面要改多少东西 |
五条路线按这套权重打分,每项 1 到 5 分,理由写在结果一节。先给总分表:
| 路线 | 前提门槛 | 还原精度 | 工程耗时 | 数据量 | 可复用 | 加权总分 |
|---|---|---|---|---|---|---|
| A 复制粘贴 | 5 | 2 | 5 | 1 | 1 | 3.05 |
| B 剪贴板 CF_HTML | 4 | 4 | 3 | 2 | 4 | 3.55 |
| C 源码 + read_html | 3 | 4 | 4 | 4 | 4 | 3.75 |
| D 无头渲染取 DOM | 2 | 4 | 2 | 3 | 3 | 2.85 |
| E 截图 OCR | 4 | 2 | 2 | 2 | 2 | 2.60 |
得分理由逐条说。C 是 3.75 分最高:read_html 是现成的表格解析器,工程耗时只扣 1 分(装依赖和定位目标表);前提门槛扣 2 分,因为要求页面是服务端渲染、表格是真 table 标签。B 的 3.55 分靠前提门槛撑着:只要人会复制就有数据,但它只能拿到当前这一屏。D 前提门槛只给 2 分:无头浏览器在内网机器上能不能装、老内核页面渲染出来对不对,两个变量都不可控。E 的还原精度给 2 分,OCR 识别数字表格的错字率没有低到敢直接进交付物,这一项我没在真实内网报表上测,只核对过站内 PaddleOCR 实测记录,评分置信度标注为"低"。
选型结论:主路线 C,B 做兜底,D 留给动态页特例。这不是五五开的判断——A 和 E 在这个任务里不该被考虑进交付流程。
执行过程与里程碑:逐条路线实测记录
先走 C 路线。第一步不是写代码,是看源码:浏览器里 Ctrl+U,搜 <table。真表格直接进下一步;搜不到,说明是 div 拼的假表格或者客户端渲染,这一步判空很重要——后来在内网另一个系统里确实搜不到,页面数据是 JS 拉接口拼出来的,整页源码里只有容器。站内那篇WinForm 爬取实战里也踩过同一个坑:直接解析 HTML 容易翻车,因为现在的页面大多是 SSR 或者客户端渲染混着来。
C 路线核心一行是 read_html。默认行为要心里有数:match 参数默认 '.+',会返回页面上所有表格,内网页面带导航表、页脚表的,必须用 match 或 attrs 把目标表挑出来;解析引擎默认先 lxml、失败回退 bs4+html5lib;display:none 的元素默认不解析。另外 pandas 2.1.0 起弃用直接传 HTML 字符串,要包一层 StringIO,老代码迁移时容易在这里栽。
read_html 有四个参数值得逐项说清,每一项都对应一种"改错了会怎样"。match:按文本内容筛表格,默认 '.+' 返回全部表格,漏写的结果是多出来一堆导航表和页脚表,靠列表下标取目标表,页面一改版下标就飘;attrs:按 HTML 属性定位表格,比如 attrs={"id": "dataTable"},比 match 稳,前提是目标表真的带 id 或 class;header:指定表头行号,默认 None 会把第一行当数据,多级表头不传列表就拍平成一行,列名错位全源于这个参数;converters:按列强制类型,默认行为是把"0012"这种文本转成数值 12,工号、行政区划代码这类前导零列必须显式 converters={"工号": str},否则错误是静默的——数据看着都对,就是编号少了开头的零。
翻页和批量在这个环节处理。C 路线拿的是服务端返回的 HTML,翻页只要换 URL 参数循环请求,控频加上失败重试就行;失败的那几页单独落一份清单,回头只重跑清单——全量重跑既慢又容易把跑成功的部分搅乱,这个"失败列表单独重跑"的习惯是从站内批量采集实践里直接搬的。
B 路线作为兜底实测过一轮。在 Excel 或浏览器里选中表格复制,Windows 剪贴板里同时躺着多份副本:实测一段带制表符的表格文本,枚举出 CF_UNICODETEXT、CF_LOCALE、CF_TEXT、CF_OEMTEXT 四种格式;多复制一份带格式的 HTML 后出现第五种,格式名"HTML Format",也就是 CF_HTML。它的头部长这样:Version、StartHTML、EndHTML、StartFragment、EndFragment,全是字节偏移,不是字符偏移——这是 B 路线最大的坑,中文在 UTF-8 里占三个字节,按字符数偏移会把 fragment 切歪。微软官方文档写明这套格式起始版本 0.9、Windows 10 20H2 起 1.0,编码固定 UTF-8。
CF_HTML 头部六个字段逐项过一遍。Version:格式版本号,0.9 起步,新系统写 1.0,解析端两个都要兼容;StartHTML/EndHTML:上下文(含外围标签)的字节区间,填 -1 表示没有上下文;StartFragment/EndFragment:真正被选中的那段表格的字节区间,切表格只看这两个;StartSelection/EndSelection:可选字段,标用户实际选中的范围,省略时按 Fragment 处理。解析端常见的错误姿势是拿 StartHTML 当数据起点——那是"外围上下文"的起点,不是表格的起点,正确做法是按 StartFragment/EndFragment 切,再用 fragment 前后的注释标记做二次校验。另外浏览器写入时通常带 SourceURL 字段记录来源页,留着他解析相对链接用,别当垃圾丢掉。
D 路线只在动态页验证过成本,没接进交付流程。用现成的对照站实测:静态页正则数节点一次 0.765 秒拿到全部数据;无头浏览器冷启动 3.6 秒起步,复用浏览器实例后单页 0.700 秒——贵的不是渲染,是进程启动。另外正则数 class="quote" 返回 1 个节点,那 1 个是 document.write 里的字符串常量,纯假阳性:数节点为零或异常少时,先翻内嵌 JSON,别急着上浏览器。站内公开 API 实测那篇的结论也一致:官方明确建议定时轮询用预生成的静态源,别拿查询接口硬刷。
E 路线没有实测,只做静态核对:PaddleOCR 3.x 的表格识别走 PP-StructureV3,导出方法名是 save_to_xlsx,网上大量教程写的 save_to_excel 不存在。长图先切图的预处理要求见站内长图分割那篇。评分表里 E 的低分主要依据这两条官方口径。
结果数据:精度与耗时
五条路线的实测和核对结果汇总成一张表。声明素材性质:C、B 两条在本机真实跑过,页面是自建的对照页加一份真实内网报表的脱敏副本;D 的数字来自对照站实测,不是内网页面;E 未实测。
| 路线 | 实测结果 | 关键数字 | 未测项 |
|---|---|---|---|
| C 源码解析 | 跑通,进入交付 | read_html 单页解析亚秒级;翻页 11 页全部成功 | 未测老 IIS 的 GBK 编码页 |
| B 剪贴板 | 跑通,作兜底 | 剪贴板同时存 4-5 种格式;HTML Format 头部为字节偏移 | 未测跨 Office 版本的头格式差异 |
| D 无头渲染 | 仅成本验证 | 冷启 3.6s / 复用实例单页 0.700s / 内嵌 JSON 直取 0.765s | 未测内网 SSO 登录后能否复用会话 |
| A 复制粘贴 | 对照组 | 一次复制剪贴板内 4 种格式并存 | — |
| E 截图 OCR | 未实测 | 方法名核对:save_to_xlsx 正确,save_to_excel 错误 | 真实内网报表的识别错误率 |
把踩到的坑按严重程度排序,一共九个,这就是标题里那个 9 的出处。P1 级三个:假表格(div 拼"表",read_html 直接返回空列表)、合并单元格错位(colspan 不处理,列名和数据整体右移)、数字清洗(千分位、全角空格、单位行混进数值列)。P2 级四个:前导零丢失(工号 0012 变 12,read_html 默认把数字文本转成数值,要用 converters 强制字符串)、隐藏表混入(display:none 的列默认不解析,靠这个参数反而救过场)、剪贴板偏移按字符算(UTF-8 中文三字节,fragment 切歪)、CSV 乱码(用 Excel 直接开 UTF-8 无 BOM 文件,中文全是乱码,写 xlsx 或加 BOM 解决)。P3 级两个:document.write 假阳性、超 xlsx 单表 1,048,576 行上限时 openpyxl 抛 ValueError 拒写——这个上限是 Excel 2007+ 格式规范定的,xlsx 列上限 16,384,xls 老格式则是 65,536 行 256 列。
九个坑里 P1 三个全部集中在"数据不是你以为的样子"这个层面,P2 集中在"写出去之后变形"。排序的意义在于排查顺序:交付物数字不对先查 P1,格式不对先查 P2。
补两个 P1 坑的现场还原,方便读者对号入座。合并单元格错位那次的报错现象很典型:read_html 不报错,列数也对,只是"销售金额"列里混着区县名——多级表头里第一列是 rowspan 合并的地区名,解析后每一行右移一格,错在结构层不在数值层,修法是解析前先把 rowspan/colspan 展开成等价的普通表格再喂给解析器。假表格那次的现象是 read_html 返回空列表:页面看着满满一张表,源码里一个 table 标签都没有,全是 div 加 CSS 网格布局,这种页面 read_html 无能为力,必须按容器结构自建行列,或者确认数据在不在内嵌 JSON 里。跑批环节第二次的区别也值得记:第一次全量跑通后,隔了一周目标页面前端改版,class 名全变,脚本没报错但抓回来的是空表——所以第二次跑起加了两个断言,行数小于阈值或列名匹配失败直接终止并告警,宁可当天不交付,不交一份空表出去。
九个坑按"现象—定位—修法"整理成表,排查时从上往下对照即可:
| 等级 | 现象 | 定位方法 | 修法 |
|---|---|---|---|
| P1 | read_html 返回空列表 | 源码搜不到 table 标签 | 按容器结构自建行列,或改走 D 路线 |
| P1 | 列内容整体串位 | 表头里查 rowspan/colspan | 解析前展开合并单元格 |
| P1 | 数值列混入文字 | 用 dtype 断言逐列查类型 | 清洗管线前置,逐写法定转换规则 |
| P2 | 编号开头零消失 | 抽编号列前三行比对原文 | converters 强制字符串 |
| P2 | 多出没见过的列 | 对照 display:none 的元素 | 显式列清单,不认解析器给的列序 |
| P2 | 剪贴板表格切歪 | 按字符数还原 fragment 对不上 | 改字节偏移,fragment 注释二次校验 |
| P2 | CSV 打开乱码 | 看文件头有没有 BOM | utf-8-sig 或直写 xlsx |
| P3 | 数节点结果异常少 | 查 document.write 里的字符串 | 先搜内嵌 JSON 再考虑渲染 |
| P3 | 写库报 ValueError: Maximum row number is 1048576 | 核对总行数与上限 | 分 sheet 或改落 CSV |
写出层再补两句实账。pandas 的 to_excel 底层就是 openpyxl,行数校验发生在写的那一刻,1,048,577 行的数据在内存里躺得好好的,写盘才炸——所以行数断言要放在写出之前,别指望异常处理兜住。中间文件和最终文件建议分开:中间层落 CSV(带 BOM),终层写 xlsx,这样解析层和写出层互相独立,任何一层坏了另一层还能复用,也方便人工抽查中间数据。列宽、数字格式这些观感层的设置放最后一步做,排在清洗逻辑之后,别让格式化代码混进数据转换里。
可以复用的部分
三样东西值得搬走。第一是判空三连:Ctrl+U 搜 table 标签、数一下 read_html 返回列表长度、翻内嵌 JSON 找数据数组。三步之内判断页面属于哪一类,比先上重型工具快得多,这一步的产出决定走 C 还是走 D。
第二是清洗管线。千分位和全角字符的处理要放在写 Excel 之前统一做,别散在各处。CSV 这一层如果要落中间文件,用标准解析器处理引号——pandas 的 read_csv 和 Python 的 csv 模块都默认处理引号转义,手写 split 逗号迟早被"内容里带逗号"的字段打穿,这是站内世行数据实践里验证过的坑。Markdown 表格那种竖线分隔行的格式残留属于纯格式行,进 Excel 前要单独剔掉,站内去格式工具的实测记录里有现成判断。
第三是自校验。交付前跑三个数:行数对不对(和页面显示的总条数比)、金额列合计对不对(和页面底部的合计行比)、抽查三行原文比对。三个数对不上就停,别交付。这套三步自检在多次取数任务里都拦下过真问题,成本不到一分钟。它的价值不在复杂,在"每次都跑"——省掉的一次校验,往往就是交付出去的那份错表。
不值得复制的部分
只讲成功的拆解是自夸,这一节专门讲我走弯路的部分。
不值得复制之一:一开始就想写通用解析器。第一版我试图做一个"什么页面都能吃"的表格识别模块,写了一天半,覆盖了合并单元格、嵌套表、表内换行,结果真实页面只用到其中两个分支。通用化的成本是为不存在的页面付的,第二版回到"只处理这一类页面",两小时收工。这条弯路的根因是没先把页面类型收敛下来。
不值得复制之二:在 B 路线上过度投入。剪贴板方案做完后成就感很强,字节偏移、fragment 切割、表格重建都跑通了,但它只服务"人在看着页面"这个场景,批量能力是零。如果任务一开始就明确要批量,B 路线的这些投入一半是白做。兜底方案做到"能用"就该停,不该做到"优雅"。
不值得复制之三:把 OCR 当保底方案排进流程。识别错误率没实测过就写进方案,等于在交付链路上埋了一个未标定的环节。OCR 应该只出现在"图片是唯一来源"的场景,比如别人发来一张报表截图。真遇到那种输入,先要求原始文件,实在没有再走 OCR 并全量人工抽查——站内长图表格识别那篇的实际流程就是这么设计的。
接手的人该先看哪
接手这类任务,按顺序看四样东西,顺序错了会多花一倍时间。
先看页面类型,用判空三连定位页面属于"真表格""假表格"还是"动态拼装",这一步决定主路线。再看数据口径,内网环境里务必先问清"以哪个系统为准"——同一个指标在两个系统里对不上的情况很常见,口径没定,导得再准也是错的数据。第三看输出端要求:要 xlsx 还是 CSV、有没有前导零列、要不要保留合并单元格的层级语义,这些决定了清洗管线的形状。第四才是写代码,而且第一版只处理收敛后的页面类型。
规模分层给三档。一次性的小任务(几十行、当月就要):直接复制粘贴加人工清洗,别写代码,工程耗时不划算。周期性的中等任务(每周固定导、几百到几千行):走 C 路线加自校验,一天内能建起来,维护成本主要是页面改版后更新选择器。大批量或长跨度(几万行以上、跨多月):C 路线照用,但写出端要换——openpyxl 逐行写大表内存涨得快,超过单表行数上限要分 sheet 或改落 CSV 再人工汇总,另外要在请求层加控频和断点续跑,内网系统的服务器扛不住高频循环请求。
工具层面补充一句:公开网页的表格导出其实不需要走上面这套,站内的公开网页表格导出工具填个网址就能出结果。本文这套流程是给"无接口、有权限、要进流程"的内网场景准备的,读者按场景对号入座。
最后给一份五分钟自测清单,交付前逐项过一遍:源码里搜 <table 确认是真表格还是结构体;read_html 返回列表长度是否等于页面上肉眼可见的表格数;目标表行数和页面底部的"共 N 条"是否一致;金额列做一次合计,和页面合计行对;工号、行政区划这类前导零列抽三行看开头零在不在;时间列抽查跨月跨年的几行,看有没有被解析成日期对象之外的东西;另存一份中间 CSV 用标准解析器重读一遍,行数不变才算写出去的文件没坏。七个检查项跑完不到五分钟,拦下来的每一单都比事后返工便宜。
常见问题
Q:导出的 CSV 用 Excel 打开全是乱码,怎么救?
乱码的根因是编码协商失败:Excel 打开无 BOM 的 UTF-8 文件时按本地编码猜,中文就花了。两个修法,选一个就够:一是落文件时改用 utf-8-sig 编码,BOM 会引导 Excel 正确识别;二是干脆不走 CSV,直接用 openpyxl 写 xlsx,顺带把数字类型、列宽一起控制住。如果文件是别人给的、没法重新生成,用 Excel 的"数据→从文本导入"手动指定 65001 编码也能救,但这属于人工补丁,不该出现在有脚本的流程里。
Q:页面要登录才能看,直接请求源码拿到的是登录页怎么办?
read_html 或 requests 直接打 URL 拿不到数据,是因为请求没带登录态。最稳的路子是复制浏览器里已登录会话的 Cookie,附到请求头里;会话过期就重新取一次。更省事的是 B 路线的变体:既然人已经登录在页面里,直接复制表格,从剪贴板拿 CF_HTML 解析,登录态天然存在。批量翻页场景建议还是走 Cookie + 控频,别让脚本模拟整套登录流程——内网系统多半有审计,模拟登录触发的告警解释起来很麻烦。
Q:表格是 div 拼的假表格,read_html 返回空,还有救吗?
有救,但要换工具不换思路。假表格的行和列通常有稳定的 class 名或重复的容器结构,用 lxml 或 BeautifulSoup 按结构挑节点,把每行容器的文本按列拼起来,等价于自己重建一张表。工作量比真表格多一个"结构定义"环节,通常是每列写一个定位规则。动手前先确认数据是不是 JS 动态拼的——如果源码里连数据都没有,光解析结构没用,得回到 D 路线或者找内嵌 JSON。判断成本一分钟,值得花。
Q:千分位、百分号、单位这些混在数字里,怎么清才不出错?
原则是清洗规则要可枚举、可回溯,不要用"去掉所有非数字字符"这种一把梭的规则。先枚举页面里实际出现的写法:1,234.56、12.3%、1.2 万元、(123)负数括号写法,每种写法对应一条显式转换,转换前先统计每种写法命中多少行——命中行数本身就是一个校验数。百分号要提前决定存 12.3 还是 0.123,全列统一,别混。带单位的(万元、亿)建议保留原值另加一列标准单位值,原始口径丢了,对账就断了。
Q:内网装不了库,纯手工能做到哪一步?
没有任何第三方库的情况下,复制粘贴是最强工具。Excel 粘贴时选"选择性粘贴"里的文本或 HTML,能避开一部分格式污染;Power Query(Excel 自带,不需要装东西)可以直接"从 Web 获取"内网页面并自动识别表格,配合刷新按钮就是个轻量定时方案。批量和校验靠 Excel 自带函数也能凑合:用 COUNTA 对行数、SUM 对合计。真正的分界线在数据量和复用频率——单次几百行以内手工方案完全够,超过这个量级,还是想办法把离线 wheel 拷进内网装齐解析三件套。

