跳到主内容

列表翻页批量采集 - 免费把列表页翻完导成表格(爬虫工具)

免费下载列表翻页批量采集 v1.0.0
平台:Windows 10/11 (64位)大小:11.3 MB版本:v1.0.0更新:
提取码:b7nb(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
公告、招标、政策、招聘这类列表一页只有十几条,要翻几十页才能看全;手工复制粘贴既有漏页又有重页,写脚本又要会代码

列表翻页批量采集 运行界面

软件名称列表翻页批量采集
版本v1.0.0
授权免费(可自由使用与转发)
运行方式本地运行,仅执行任务时访问你自己填写的地址
所属分类爬虫工具

这个工具解决什么问题

每周要把某个站点的公告列表过一遍:一页 15 条,一共 40 多页,鼠标点「下一页」点到手酸。复制标题、切回表格、粘贴、再切回浏览器找链接,一条要来回三次。翻到第 30 页时接了个电话,回来忘了刚才停在哪一页,只能从头再来一遍。最后表格里还有几条重复的,是两页交界处各贴了一次。想找个工具,八爪鱼那类要建采集流程、点选元素,配置半小时起步;浏览器扩展要装插件,换台电脑就没了。真正想要的只有一件事:把网址给它,它自己翻完,给我一张能直接用的表。

  • 原来的做法:一页页点「下一页」,手工复制标题再补链接,40 页大约 1.5 小时,还容易漏页重页
  • 用这个工具:粘贴第一页网址 → 点「开始采集」→ 工具自己识别列表结构和下一页按钮,翻完导出 CSV
  • 省下来的:同样 40 页,采集本身 1–2 分钟(受每页间隔限制),导出后直接进 Excel

技术实现

整件事的难点不在「抓页面」,而在「不知道用户会填什么网址」——没有选择器、没有配置,只能靠结构特征去猜哪一块是列表、哪个按钮是下一页。所以实现上刻意避开两件事:一是不引第三方库(requests、lxml、BeautifulSoup 都不带),用标准库 urllib + html.parser,打包出来体积小、也不会有依赖装不上的问题;二是不要求用户点选元素,全部靠启发式打分。界面用 tkinter,采集跑在后台线程,通过队列把进度回传主线程,避免界面假死。

  • 轻量 DOM(html.parser + 栈式构树):自定义 HTMLParser 子类,遇到开始标签压栈、结束标签出栈,遇到 br/img/input 等空元素不压栈(否则后面的兄弟节点会全变成它的子节点)。节点带 order 序号记录文档顺序,后面条目排序与容器比较都靠它。不用正则切标签:列表页嵌套深,正则遇到不闭合标签会把整页切碎。
  • 条目识别:同签名分组 + 三因子打分:遍历每个元素,把它的直接子元素按「标签名 + 排序后的 class」分组(用 class 不用 id,因为同一列表里 id 常是 item-1、item-2 各不相同)。某组重复 ≥3 次且每条都能提出一个可用链接,即记为候选容器。打分 = 条目数 × 标题唯一率 × 平均标题长度因子:唯一率滤掉导航栏(首页/关于/联系重复度高),长度因子让真标题赢过栏目名。分数相同取更深(更具体)的容器。找不到时退化为全文档按签名分组计数。
  • 翻页识别:四级加权 + 数字分页兜底:rel="next" 记 100 分(HTML 规范里最权威的写法),按钮文字命中「下一页/下页/后一页/next/›/»」词表记 90,文字里含「下一页」记 85,aria-label 或 title 提示记 70,class/id 含 next 记 60,取最高分。都不命中时走兜底:收集 1..N 的数字页码链接,从当前地址里读出页码(query 参数或路径尾部数字),取当前 +1。指向自身的链接一律排除,防止死循环。
  • 编码四级回退:响应头 charset → 页面 meta charset(扫前 4KB)→ utf-8 → gbk,逐级 try 解码,最后兜底 utf-8 忽略错误。国内不少老站点仍用 GBK 且响应头不写 charset,少了这层会整页乱码。gb2312 统一按 gbk 解(前者是后者子集)。gzip / deflate 按实际响应头解压,不轻信 Accept-Encoding 的协商结果。
  • robots.txt 最长前缀匹配:抓取前先读 scheme://host/robots.txt,按 RFC 9309 解析 User-agent: * 那一组,逐条前缀匹配并取最长命中(Allow 与 Disallow 一起参与,长的赢)。命中 Disallow 时在日志里明确提示「请自行确认有权抓取」,但不硬拦——是否继续由用户决定。读不到 robots.txt 按可访问处理。
  • 后台线程 + 队列,界面不假死:采集在 threading.Thread 里跑,回调只往 queue.Queue 里塞消息,主线程每 100ms 用 root.after 轮询消费。tkinter 控件只能在主线程操作,跨线程直接改控件会随机崩。停止用 threading.Event:点「停止」置位,采集在每次翻页前检查,当前页抓完即收手。

技术栈:Python 3.12、tkinter 窗体、html.parser、PyInstaller 单文件打包

已知局限:只解析服务器返回的静态 HTML。由 JavaScript 渲染出来的列表(滚动加载、点击「加载更多」才出内容)抓不到;需要登录的页面也抓不到(工具不带任何 Cookie)。单页读取上限 4MB,超出的内容不处理。条目识别是启发式的:如果某个页面的导航菜单和列表结构完全一致,可能会混进少量非条目链接,导出后在表格里筛一下即可。

同类软件对照

下面几款都是公开可查的同类软件,定位各不相同。这里只说明各自的定位,以及本工具在其中的位置,方便你判断哪一类更契合自己的用法。

软件它的定位本工具的定位
八爪鱼采集器(Octoparse)可视化流程配置的通用网页采集器,需要按模板建立采集流程、点选字段本工具不做流程配置,只认「列表页 + 下一页」这一种结构:粘网址、点开始,没有元素点选环节
Web Scraper(浏览器扩展)在浏览器里点选页面元素、建立站点地图后批量抓取的扩展本工具是独立桌面程序,不用装扩展、不绑定浏览器,结果直接落成本地 CSV
后羿采集器桌面端向导式采集器,按步骤选择列表页、字段与翻页方式本工具省掉向导,翻页方式由程序从页面里自行判断,代价是可配置的余地更小
Excel「从 Web 获取数据」表格软件内置的网页取数功能,按 URL 拉取表格型数据本工具不依赖 Office,能跟着页面上的「下一页」自动翻页,输出带页码的可追溯表格

以上仅作定位对照,各软件的可用性、授权方式与功能范围请以其官方页面为准。

操作教程

  1. 打开软件,把列表页地址粘进「列表网址」框
    在浏览器里打开你要采集的那个列表页(第一页),复制地址栏里的完整网址,粘到软件顶部输入框。
    预期结果:输入框里出现以 http:// 或 https:// 开头的地址;只填域名也能用,软件会自动补 https://
  2. 设置最多采集页数和每页间隔
    「最多采集」默认 10 页,可填 1–200;「每页间隔」默认 0.6 秒,站方压力敏感时可调到 1.0 或 1.5 秒。
    预期结果:两个选项都在顶部第二行,改完不需要额外确认
  3. 点「开始采集」
    软件先读该站的 robots.txt 并在日志里说明结果,然后抓第一页、识别列表结构,再自动跟着「下一页」往下翻。
    预期结果:表格里逐页出现标题与链接,状态条显示「第 N 页:累计 M 条」,进度条按页推进
  4. 看日志确认识别是否合理
    日志里会写「条目识别:父容器分组(ul.news-list 下 15 个同级条目)」和「下一页依据:按钮文字「下一页」」。这两行能直接看出软件认的是哪一块、靠什么翻页。
    预期结果:条目数与页面上肉眼看到的条数一致;翻页依据不是「找不到」
  5. 中途想停就点「停止」
    点「停止」后,软件把当前这一页抓完就收手,已经采到的数据全部保留。
    预期结果:状态条显示「完成:N 页 / M 条」,导出按钮变为可用
  6. 点「导出 CSV」存成表格
    选择保存位置,文件名默认带日期时间。文件带 UTF-8 BOM,Excel 双击打开中文不乱码。
    预期结果:生成 .csv 文件,四列:序号、标题、链接、所在页;点「确定」后日志里出现保存路径
  7. 双击表格里任意一行可以打开原网页
    用来抽查采集结果对不对——标题和链接是不是页面上的那一条。
    预期结果:默认浏览器打开该条目的原始页面

全部操作都在窗口里点按钮完成,不需要输入任何命令。

常见问题

Q:有的网站翻到第二页就停了,为什么?A:软件靠页面上真实存在的「下一页」链接来判断翻页,如果那个按钮是脚本动态生成、或者干脆是滚动到底自动加载,页面上就没有可跟的地址,翻不过去。日志里会写「没有更多页(页面上找不到「下一页」链接)」,属于这个情况。这类页面需要浏览器自动化才能采,不在本工具范围内。
Q:采到的内容是乱码怎么办?A:软件按「响应头 → 页面 meta → utf-8 → gbk」四级回退解码,日志里会写实际用的编码。如果仍然是乱码,通常是页面把内容放在脚本里、由浏览器执行后才显示文字,抓回来的网页内容里本来就没有中文。可以打开日志看编码名是否为 gbk 或 utf-8,排除编码问题后再判断是不是脚本渲染。
Q:能不能采需要登录才能看的页面?A:不能。工具不带 Cookie、不模拟登录,只读取任何人都能打开的公开页面。这也是它的边界——需要登录的内容请走站方提供的导出功能。
Q:表格里混进了导航栏或侧栏的链接?A:条目识别是按「重复结构」猜的:如果侧栏的栏目列表和正文列表结构完全一样,会被当成同一种条目。日志里的「条目识别」一行写明了认的是哪一块,看到认错了就换成更内层的列表页地址;实在混进来的,导出后在表格里按「所在页」或关键词筛一下即可。
Q:一次能翻多少页?会不会把对方站点拖垮?A:页数上限可设 1–200,默认 10。每次翻页之间按你设的间隔(默认 0.6 秒)停顿,不会并发请求。对访问量敏感的站点建议调到 1.0 秒以上,并在对方 robots.txt 允许的范围内使用。
Q:采集的数据会传到哪里去?A:只存在你自己电脑上。软件只向你填写的那个网址发请求,不发往任何第三方;导出的 CSV 也由你决定存在哪个目录。软件本身没有上传接口。
Q:换了台电脑还能用吗?A:能。运行版是打包好的单文件程序,解压后双击即用,不需要装 Python 或任何运行库。整个文件夹拷走即可,不写注册表、不留后台服务。

技术实现与后续维护

程序分两层:collector.py 是纯逻辑(抓取、解析、识别、导出),不 import tkinter,可以直接断言测试;list_collect.py 只负责窗口与线程调度。要加新的列表结构支持,改 collector.detect_items 的打分规则即可;要加新的翻页写法,往 NEXT_TEXTS 里加词或调整 detect_next 的加权。

可扩展方向:

  • 支持导出 Excel(.xlsx):现在只出 CSV,若需要多工作表或按页分表,可在 export 环节接一个写 xlsx 的模块
  • 支持「按关键词过滤」:采集时只保留标题命中关键词的条目,适合从大列表里挑特定类别
  • 支持自定义翻页文字:把「下一頁」「次へ」这类非简中写法做成可编辑词表,适配港澳台与日文站点
  • 支持定时复查:对同一列表每天跑一次,只导出新增条目(需要保存上次的链接集合)

本工具免费提供使用,功能完整、不设限制。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护,可以联系我们做二次开发。

需要其它功能?可以定制

这个工具只做一件事:公告、招标、政策、招聘这类列表一页只有十几条,要翻几十页才能看全;手工复制粘贴既有漏页又有重页,写脚本又要会代码。如果你的场景还需要别的处理,可以联系我们做二次开发,按你的实际数据格式和流程定制。

常见的定制需求:

  • 只采某个关键词相关的公告,其余自动丢弃
  • 把结果直接写入指定的 Excel 模板,保留原有表头与格式
  • 采集后自动下载每条对应的附件(PDF/Word),按标题命名归档
  • 增加「需要登录」的站点支持,用内置浏览器保持登录态后采集
  • 联系方式:邮箱/微信见站内「联系我们」页面,或在本文下方留言
  • 定制说明:请附上你的数据样例(脱敏即可)和期望结果,方便快速评估工作量
  • 交付形式:定制项目交付可执行程序,支持后续版本迭代与长期维护

使用说明与免责声明

本工具涉及数据采集,请在合法合规的前提下使用。
  • 本工具仅用于采集公开可见或你自身拥有权限的数据。
  • 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
  • 请合理控制请求频率,不要对目标站点造成访问压力。
  • 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
  • 因使用不当造成的后果由使用者自行承担;本工具不做数据二次分发。
免费下载列表翻页批量采集 v1.0.0
平台:Windows 10/11 (64位)大小:11.3 MB版本:v1.0.0更新:
提取码:b7nb(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
分享到:

本文链接:https://www.biyeyuanma.cn/post/425.html

服务热线

加我微信

加我微信