b7nb(如提示需要,请输入)
这个工具解决什么问题
每周要把某个站点的公告列表过一遍:一页 15 条,一共 40 多页,鼠标点「下一页」点到手酸。复制标题、切回表格、粘贴、再切回浏览器找链接,一条要来回三次。翻到第 30 页时接了个电话,回来忘了刚才停在哪一页,只能从头再来一遍。最后表格里还有几条重复的,是两页交界处各贴了一次。想找个工具,八爪鱼那类要建采集流程、点选元素,配置半小时起步;浏览器扩展要装插件,换台电脑就没了。真正想要的只有一件事:把网址给它,它自己翻完,给我一张能直接用的表。
- 原来的做法:一页页点「下一页」,手工复制标题再补链接,40 页大约 1.5 小时,还容易漏页重页
- 用这个工具:粘贴第一页网址 → 点「开始采集」→ 工具自己识别列表结构和下一页按钮,翻完导出 CSV
- 省下来的:同样 40 页,采集本身 1–2 分钟(受每页间隔限制),导出后直接进 Excel
技术实现
整件事的难点不在「抓页面」,而在「不知道用户会填什么网址」——没有选择器、没有配置,只能靠结构特征去猜哪一块是列表、哪个按钮是下一页。所以实现上刻意避开两件事:一是不引第三方库(requests、lxml、BeautifulSoup 都不带),用标准库 urllib + html.parser,打包出来体积小、也不会有依赖装不上的问题;二是不要求用户点选元素,全部靠启发式打分。界面用 tkinter,采集跑在后台线程,通过队列把进度回传主线程,避免界面假死。
- 轻量 DOM(html.parser + 栈式构树):自定义 HTMLParser 子类,遇到开始标签压栈、结束标签出栈,遇到 br/img/input 等空元素不压栈(否则后面的兄弟节点会全变成它的子节点)。节点带 order 序号记录文档顺序,后面条目排序与容器比较都靠它。不用正则切标签:列表页嵌套深,正则遇到不闭合标签会把整页切碎。
- 条目识别:同签名分组 + 三因子打分:遍历每个元素,把它的直接子元素按「标签名 + 排序后的 class」分组(用 class 不用 id,因为同一列表里 id 常是 item-1、item-2 各不相同)。某组重复 ≥3 次且每条都能提出一个可用链接,即记为候选容器。打分 = 条目数 × 标题唯一率 × 平均标题长度因子:唯一率滤掉导航栏(首页/关于/联系重复度高),长度因子让真标题赢过栏目名。分数相同取更深(更具体)的容器。找不到时退化为全文档按签名分组计数。
- 翻页识别:四级加权 + 数字分页兜底:rel="next" 记 100 分(HTML 规范里最权威的写法),按钮文字命中「下一页/下页/后一页/next/›/»」词表记 90,文字里含「下一页」记 85,aria-label 或 title 提示记 70,class/id 含 next 记 60,取最高分。都不命中时走兜底:收集 1..N 的数字页码链接,从当前地址里读出页码(query 参数或路径尾部数字),取当前 +1。指向自身的链接一律排除,防止死循环。
- 编码四级回退:响应头 charset → 页面 meta charset(扫前 4KB)→ utf-8 → gbk,逐级 try 解码,最后兜底 utf-8 忽略错误。国内不少老站点仍用 GBK 且响应头不写 charset,少了这层会整页乱码。gb2312 统一按 gbk 解(前者是后者子集)。gzip / deflate 按实际响应头解压,不轻信 Accept-Encoding 的协商结果。
- robots.txt 最长前缀匹配:抓取前先读 scheme://host/robots.txt,按 RFC 9309 解析 User-agent: * 那一组,逐条前缀匹配并取最长命中(Allow 与 Disallow 一起参与,长的赢)。命中 Disallow 时在日志里明确提示「请自行确认有权抓取」,但不硬拦——是否继续由用户决定。读不到 robots.txt 按可访问处理。
- 后台线程 + 队列,界面不假死:采集在 threading.Thread 里跑,回调只往 queue.Queue 里塞消息,主线程每 100ms 用 root.after 轮询消费。tkinter 控件只能在主线程操作,跨线程直接改控件会随机崩。停止用 threading.Event:点「停止」置位,采集在每次翻页前检查,当前页抓完即收手。
技术栈:Python 3.12、tkinter 窗体、html.parser、PyInstaller 单文件打包
已知局限:只解析服务器返回的静态 HTML。由 JavaScript 渲染出来的列表(滚动加载、点击「加载更多」才出内容)抓不到;需要登录的页面也抓不到(工具不带任何 Cookie)。单页读取上限 4MB,超出的内容不处理。条目识别是启发式的:如果某个页面的导航菜单和列表结构完全一致,可能会混进少量非条目链接,导出后在表格里筛一下即可。
同类软件对照
下面几款都是公开可查的同类软件,定位各不相同。这里只说明各自的定位,以及本工具在其中的位置,方便你判断哪一类更契合自己的用法。
| 软件 | 它的定位 | 本工具的定位 |
|---|---|---|
| 八爪鱼采集器(Octoparse) | 可视化流程配置的通用网页采集器,需要按模板建立采集流程、点选字段 | 本工具不做流程配置,只认「列表页 + 下一页」这一种结构:粘网址、点开始,没有元素点选环节 |
| Web Scraper(浏览器扩展) | 在浏览器里点选页面元素、建立站点地图后批量抓取的扩展 | 本工具是独立桌面程序,不用装扩展、不绑定浏览器,结果直接落成本地 CSV |
| 后羿采集器 | 桌面端向导式采集器,按步骤选择列表页、字段与翻页方式 | 本工具省掉向导,翻页方式由程序从页面里自行判断,代价是可配置的余地更小 |
| Excel「从 Web 获取数据」 | 表格软件内置的网页取数功能,按 URL 拉取表格型数据 | 本工具不依赖 Office,能跟着页面上的「下一页」自动翻页,输出带页码的可追溯表格 |
以上仅作定位对照,各软件的可用性、授权方式与功能范围请以其官方页面为准。
操作教程
- 打开软件,把列表页地址粘进「列表网址」框
在浏览器里打开你要采集的那个列表页(第一页),复制地址栏里的完整网址,粘到软件顶部输入框。
预期结果:输入框里出现以 http:// 或 https:// 开头的地址;只填域名也能用,软件会自动补 https:// - 设置最多采集页数和每页间隔
「最多采集」默认 10 页,可填 1–200;「每页间隔」默认 0.6 秒,站方压力敏感时可调到 1.0 或 1.5 秒。
预期结果:两个选项都在顶部第二行,改完不需要额外确认 - 点「开始采集」
软件先读该站的 robots.txt 并在日志里说明结果,然后抓第一页、识别列表结构,再自动跟着「下一页」往下翻。
预期结果:表格里逐页出现标题与链接,状态条显示「第 N 页:累计 M 条」,进度条按页推进 - 看日志确认识别是否合理
日志里会写「条目识别:父容器分组(ul.news-list 下 15 个同级条目)」和「下一页依据:按钮文字「下一页」」。这两行能直接看出软件认的是哪一块、靠什么翻页。
预期结果:条目数与页面上肉眼看到的条数一致;翻页依据不是「找不到」 - 中途想停就点「停止」
点「停止」后,软件把当前这一页抓完就收手,已经采到的数据全部保留。
预期结果:状态条显示「完成:N 页 / M 条」,导出按钮变为可用 - 点「导出 CSV」存成表格
选择保存位置,文件名默认带日期时间。文件带 UTF-8 BOM,Excel 双击打开中文不乱码。
预期结果:生成 .csv 文件,四列:序号、标题、链接、所在页;点「确定」后日志里出现保存路径 - 双击表格里任意一行可以打开原网页
用来抽查采集结果对不对——标题和链接是不是页面上的那一条。
预期结果:默认浏览器打开该条目的原始页面
全部操作都在窗口里点按钮完成,不需要输入任何命令。
常见问题
技术实现与后续维护
程序分两层:collector.py 是纯逻辑(抓取、解析、识别、导出),不 import tkinter,可以直接断言测试;list_collect.py 只负责窗口与线程调度。要加新的列表结构支持,改 collector.detect_items 的打分规则即可;要加新的翻页写法,往 NEXT_TEXTS 里加词或调整 detect_next 的加权。
可扩展方向:
- 支持导出 Excel(.xlsx):现在只出 CSV,若需要多工作表或按页分表,可在 export 环节接一个写 xlsx 的模块
- 支持「按关键词过滤」:采集时只保留标题命中关键词的条目,适合从大列表里挑特定类别
- 支持自定义翻页文字:把「下一頁」「次へ」这类非简中写法做成可编辑词表,适配港澳台与日文站点
- 支持定时复查:对同一列表每天跑一次,只导出新增条目(需要保存上次的链接集合)
本工具免费提供使用,功能完整、不设限制。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护,可以联系我们做二次开发。
需要其它功能?可以定制
这个工具只做一件事:公告、招标、政策、招聘这类列表一页只有十几条,要翻几十页才能看全;手工复制粘贴既有漏页又有重页,写脚本又要会代码。如果你的场景还需要别的处理,可以联系我们做二次开发,按你的实际数据格式和流程定制。
常见的定制需求:
- 只采某个关键词相关的公告,其余自动丢弃
- 把结果直接写入指定的 Excel 模板,保留原有表头与格式
- 采集后自动下载每条对应的附件(PDF/Word),按标题命名归档
- 增加「需要登录」的站点支持,用内置浏览器保持登录态后采集
- 联系方式:邮箱/微信见站内「联系我们」页面,或在本文下方留言
- 定制说明:请附上你的数据样例(脱敏即可)和期望结果,方便快速评估工作量
- 交付形式:定制项目交付可执行程序,支持后续版本迭代与长期维护
使用说明与免责声明
- 本工具仅用于采集公开可见或你自身拥有权限的数据。
- 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
- 请合理控制请求频率,不要对目标站点造成访问压力。
- 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
- 因使用不当造成的后果由使用者自行承担;本工具不做数据二次分发。
b7nb(如提示需要,请输入)
