跳到主内容

网页附件批量下载 - 免费把公告页的 PDF/Word 附件一次取回(爬虫工具)

免费下载网页附件批量下载 v1.0.0
平台:Windows 10/11 (64位)大小:11.3 MB版本:v1.0.0更新:2026-11-06
提取码:fwsd(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
公告页上的附件只能一个个点开保存,文件名还是一串 P020xxxx 编号,下完分不清哪个是哪个

网页附件批量下载 运行界面

软件名称网页附件批量下载
版本v1.0.0
授权免费(可自由使用与转发)
运行方式本地运行,仅执行任务时访问你自己填写的地址
所属分类爬虫工具

这个工具解决什么问题

一份「第三批补助名单公示」页面上挂着 6 个附件:名单.pdf、通知.docx、汇总表.xlsx、材料包.zip。你真正要做的只是把它们存到同一个文件夹里。实际操作是:鼠标移到第一个链接、右键、另存为、在弹出的对话框里翻到目标文件夹、点保存;然后第二个、第三个……六个附件就要重复六遍。更麻烦的是文件名——政府站点的下载地址普遍是 /P020260703623851263573.pdf,下回来一排 P020 开头的文件,不看内容根本不知道哪个是名单、哪个是通知,只能逐个打开认一遍再改名。如果碰上附件列表是用脚本拼出来的页面,右键另存还可能拿到一个 .htm 而不是真文件。

  • 原来的做法:逐个右键「链接另存为」→ 每一份都手选保存目录 → 下完再逐个打开确认内容 → 手工改成能看懂的文件名
  • 用这个工具:粘网址 → 点「抓取页面」→ 列表里勾选要的附件 → 点「开始下载」→ 全部落到同一个文件夹,文件名已按页面上的中文标题还原
  • 省下来的:六个附件从五六分钟的重复劳动压到十几秒;文件名直接可用,不用再逐个打开辨认后改名

技术实现

整条链路是「取页 → 解析 → 判定 → 下载」四段,前三段全是纯函数,只有最后一段碰磁盘和网络。这样切的好处很直接:页面怎么解析、文件名怎么定,这些最容易出错的地方可以脱离界面、脱离网络用本地 HTML 片段跑完整断言(见 selftest.py 的 85 条),改判定规则不用靠手点按钮验证。取页与下载都放在后台线程,通过队列把结果送回界面,点「开始下载」后窗口不会假死,进度条按 64KB 分块刷新。整个工具不引第三方库:运行版是单文件 exe,多一个依赖就多一类「用户机器上装不起来 / 证书报错」的故障,而本工具只需要 GET 与 HEAD 两个动作。

  • 两遍扫描:DOM 一遍,正则一遍:第一遍用标准库 html.parser 收 <a href> 与链接文字,同时取 <title>、<base href>、meta charset;第二遍用正则在整份源码里再找一次 <a href>。为什么要两遍:国内不少 CMS 把整段附件列表塞进 JS 字符串(var str = '<a href=...>')再用 document.write 输出,html.parser 会把 <script> 内容当纯文本跳过,只靠 DOM 解析会一个附件都认不出来。实测内蒙古住建厅的公告页正是这种写法,加第二遍后 3 个附件全部识别。
  • 文件名判定:机器编号让位给中文标题:不能简单地「URL 优先」。政府站点的文件地址普遍是 /P020260703623851263573.pdf,真正可读的名字只写在链接文字里。判定顺序是:URL 里的名字像机器编号(数字占比 ≥55%、或匹配 ^[A-Za-z]{1,4}\d{5,}$)时改用链接文字;两边都正常时仍以 URL 为准,因为它才是真实落盘名。查询参数里的 filename= / file= / name= 作为第三顺位兜底。
  • 落盘前先洗文件名:Windows 不允许 \ / : * ? " < > |,也不允许文件名以点或空格结尾;CON、NUL、COM1 这些是保留设备名,直接用会写不进去。sanitize_filename() 逐条处理:剔非法与控制字符、压空白、去尾部点空格、主名截到 100 字但保留扩展名、保留名加下划线前缀。同名文件不覆盖,改成「名单 (2).pdf」。
  • 先写 .part 再改名:下载时写到 <目标名>.part,全部收完才 os.replace 成正式文件。中途断网、用户点「停止」、磁盘写满,都不会留下一个「看着完整、点开却打不开」的半个 PDF——这类残缺文件比没有文件更坑人。中断时会主动清掉 .part。
  • 编码识别:gb18030 兜底:国内公告站仍有大量 GB2312/GBK 页面,按 utf-8 硬解会得到整页乱码,连链接文字都认不出来。decode_html() 按「响应头 charset → meta charset → utf-8 → gb18030 → latin-1」逐级尝试,gb18030 是 GBK 的超集,能把 GB2312 页面也正确解出来。
  • robots.txt 最长匹配 + 礼貌间隔:取页前先拉同源 robots.txt,按 RFC 9309 的常用规则判定:路径前缀匹配取最长的那条,Allow 与 Disallow 长度相同时 Allow 优先,支持 * 通配与 $ 结尾。被禁的路径直接拒绝并返回中文说明,不做「先抓再说」。两次请求之间固定间隔 0.6 秒;探测大小的 HEAD 请求限 40 个、间隔 0.25 秒。
  • 高分屏按 DPI 等比缩放:主程序声明 DPI 感知后,175% 缩放下 9pt 字会渲染成 21px,而窗口尺寸若还按 920px 写,字会顶出窗口(第一版截图就是这么翻车的)。现在从 tk scaling 取缩放系数,窗口尺寸、表格行高、列宽、内边距全部乘同一个系数,字号由 tk 按 DPI 自动放大,两者对齐,界面在 100% 与 175% 下都不跑版。

技术栈:Python 3.12、tkinter 界面、urllib 取页、html.parser 解析、纯标准库、单文件免安装

已知局限:识别范围限于页面源码里的静态链接。靠脚本异步加载附件列表的站点(例如某些公共资源交易平台把文件挂在 AJAX 接口后)识别不到,界面会提示「没找到附件」并说明原因。不支持需要登录、需要验证码或带防盗链签名的下载。列表上限 200 个文件会二次确认,单文件按 Content-Length 显示进度但不做断点续传。网页源码读取上限 8MB。

同类软件对照

下面几款都是公开可查的同类软件,定位各不相同。这里只说明各自的定位,以及本工具在其中的位置,方便你判断哪一类更契合自己的用法。

软件它的定位本工具的定位
Internet Download ManagerWindows 上的下载管理器,可以接管浏览器的下载动作、对页面上的链接做批量抓取它是「先拿到链接列表、再下载」,判断哪些是附件、该叫什么名字要靠人看;本工具先解析页面语义,按 PDF/Word/Excel/压缩包分类,并用链接文字还原中文文件名,导出的是能直接归档的成品
DownThemAll!Firefox 浏览器的扩展,把当前页面里的链接、图片、媒体批量下载下来它绑定在 Firefox 里、面向「页面上所有资源」,筛掉导航链接要靠过滤规则;本工具是独立的 Windows 程序,只认文档类附件,装好双击就能用,不依赖浏览器
wget / curl开源社区提供的脚本式抓取工具,可镜像站点、递归下载目录面向技术人员,使用方式与参数都在脚本层面,产出要自己整理;本工具是图形界面,勾选即下,也不做递归抓站——单页取附件,边界清楚
迅雷下载客户端,支持多任务与链接批量导入定位在下载加速与资源获取,链接要自己一条条粘进去;本工具解决的是「链接从哪来、叫什么名」,下载环节保持最简单的直连

以上仅作定位对照,各软件的可用性、授权方式与功能范围请以其官方页面为准。

操作教程

  1. 打开程序
    解压后双击「网页附件批量下载.exe」。窗口从上到下是:网址行、筛选行、附件列表、保存目录、进度条、日志、操作按钮。
    预期结果:窗口正常出现,状态栏显示「就绪」
  2. 粘网址并抓取
    把公告页/资料页的地址粘到「网页地址」框(支持 Ctrl+V),点「抓取页面」或直接回车。
    预期结果:列表里出现页面上的附件,带类型与大小;日志显示页面标题和「识别到 N 个附件」
  3. 挑要哪些
    点「选」那一列的方框取消勾选,或用「只看」下拉按类型筛选(文档/表格/演示/压缩包),再配合「全选」「全不选」。
    预期结果:右上角计数实时变成「共 N 个附件,已选 M 个」
  4. 选保存位置
    点「浏览…」选一个文件夹;默认是「我的文档\网页附件」,不存在会自动创建。
    预期结果:路径框里显示你选的目录
  5. 开始下载
    点「开始下载」。下载过程中进度条按文件推进,状态栏显示当前文件与百分比,日志逐条记录成功/失败及原因。
    预期结果:每个文件落盘后日志出现一行 ✓ 与文件大小;全部结束弹出汇总
  6. 中途想停就点「停止」
    点「停止」后当前文件会在下一个 64KB 分块处中断,未完成的 .part 文件会被清掉。
    预期结果:状态变「正在停止…」,已下完的文件保留,不会留下半个文件

常见问题

Q:提示「没找到附件」是怎么回事?A:三种常见原因:一是填的是列表页,附件在下一层详情页里,点进正文页再抓;二是附件由脚本异步加载,页面源码里没有直链,这种页面本工具取不到;三是页面需要登录才显示下载链接。界面上的提示框会把这三条一并列出来。
Q:为什么下载下来的文件名和网页上显示的不一样?A:优先用链接文字里的中文标题。如果对方服务器在响应头里给了 Content-Disposition 文件名,会以服务器给的为准——那是文件作者设定的真实名字。极少数站点两者都没有,才会用地址里的名字。
Q:能不能一次抓整个网站的所有附件?A:不能,也没打算做。本工具是「一个页面 → 这个页面的附件」,抓取前会读目标站 robots.txt,被禁止的路径直接拒绝。批量爬全站属于采集行为,涉及对方服务器负载与内容授权,不在这个工具的范围内。
Q:下载失败提示 403 / 429 怎么办?A:403 一般是对方开了防盗链或要求浏览器环境,可以先用浏览器打开该页面确认能正常访问;429 是请求太频繁被限速,等几分钟、或减少一次勾选的数量再试。日志里每个失败文件后面都写了具体原因。
Q:文件很大,进度条卡住不动?A:进度依赖对方返回的 Content-Length。有些服务器不返回长度,此时进度条只在文件收完时跳一次,属正常现象。大文件(几百 MB 以上)建议用专门的下载工具,本工具面向的是几 MB 的公文附件。
Q:会不会把我下载的东西传到哪里去?A:不会。程序只做两件事:GET 你填的那个页面、GET 你勾选的那些文件地址。没有账号体系、没有统计上报、不写注册表;关掉窗口就结束,除保存目录之外不落任何文件。
Q:支持 https 和中文域名吗?A:支持。https 走系统证书校验;域名解析失败、证书异常、超时都会翻译成中文提示,不会只丢一个英文异常。

技术实现与后续维护

工具由一个可执行文件和一份使用说明组成,解压即用、不写注册表、不驻留后台。技术上只依赖 Python 标准库:取页用 urllib,解析用 html.parser 与正则,界面用 tkinter,因此不会因为某个第三方库升级而失效。判定规则集中在 attachparse.py,全是纯函数,改动后用 selftest.py 跑一遍即可确认没有回归。已知局限见上文「技术实现」末尾。若需要按固定模板归档、对接内部资料库或做批量排队,可以在本站联系页留言。

技术构成:

  • main.py —— 入口:标准流兜底、DPI 感知、未捕获异常弹窗、自测开关
  • gui.py —— 窗口布局、勾选交互、后台抓取/下载线程与队列、进度与日志
  • attachparse.py —— HTML 解析、编码识别、文件名判定与清洗、robots 规则、大小格式化
  • fetcher.py —— 取页、robots 检查、HEAD 探大小、分块下载与 .part 落盘
  • selftest.py —— 85 条纯函数断言(无界面、无网络)

运行环境:

Windows 10/11 64 位。运行版是单文件 exe,已内置 Python 运行时与 tkinter,解压双击即可,不需要装 Python、不写注册表。

可扩展方向:

  • 按页面正文里的附件标题做重命名(有些站点只在正文写了「附件1:xxx」,链接文字是空的)
  • 把一次抓取的结果导出成 CSV(文件名 / 大小 / 地址 / 抓取时间),方便做资料台账
  • 抓取后自动按类型分目录存放(文档/表格/压缩包各一个子目录)
  • 支持把多个公告页网址一次性排队抓取,合并成一张清单
  • 对下载完的文件做哈希留档,便于日后核对是否被替换

本工具免费提供使用,功能完整、不设限制。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护,可以联系我们做二次开发。

需要其它功能?可以定制

这个工具只做一件事:公告页上的附件只能一个个点开保存,文件名还是一串 P020xxxx 编号,下完分不清哪个是哪个。如果你的场景还需要别的处理,可以联系我们做二次开发,按你的实际数据格式和流程定制。

常见的定制需求:

  • 行政:每月的公示名单要归档,希望按「年份-月份」自动建目录
  • 投标:招标公告页的图纸、清单、招标文件要一次取全,并导出清单备查
  • 学校/家长:班级公告页的成绩表、通知要批量存下来,按学生姓名分文件夹
  • 联系方式:邮箱/微信见站内「联系我们」页面,或在本文下方留言
  • 定制说明:请附上你的数据样例(脱敏即可)和期望结果,方便快速评估工作量
  • 交付形式:定制项目交付可执行程序,支持后续版本迭代与长期维护

使用说明与免责声明

本工具涉及数据采集,请在合法合规的前提下使用。
  • 本工具仅用于采集公开可见或你自身拥有权限的数据。
  • 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
  • 请合理控制请求频率,不要对目标站点造成访问压力。
  • 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
  • 因使用不当造成的后果由使用者自行承担;本工具不做数据二次分发。

本工具仅用于获取公开发布的页面与文件,请勿用于绕过登录、付费或版权保护的内容;抓取频率请保持克制,避免对目标站点造成压力。下载到的文件版权归原发布方所有,请按原发布方的授权范围使用。

免费下载网页附件批量下载 v1.0.0
平台:Windows 10/11 (64位)大小:11.3 MB版本:v1.0.0更新:2026-11-06
提取码:fwsd(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
分享到:

本文链接:https://www.biyeyuanma.cn/post/408.html

服务热线

加我微信

加我微信