网页内容变更监测 - 免费盯着一批网页，改了一句话也点得出来（爬虫工具）

这个工具解决什么问题

做运营、比价、投标、政策跟踪的人都有一张自己的「要盯的页面」清单：供应商的报价页、园区的停水通知、平台的活动规则、招标公告、上游厂商的规格表。这些页面有个共同点——大部分时间不变，一改就改在关键处，而且改完不会通知你。于是只能每天挨个打开刷新一遍，用眼睛从上往下扫。麻烦在于：一屏几百字，改动的往往只是中间某一句、某个数字、某一行日期；眼睛扫三遍也未必发现，等发现的时候优惠期已经过了、投标已经截止了。更麻烦的是页面还会顺带变一些无关的东西——访问量、随机推荐位、轮播广告，让人不敢确定到底是「真改了」还是「又刷新了」。

• 原来的做法：把十几个网址存进浏览器收藏夹，每天挨个点开、按 F5、滚动、用眼睛比对；想确认到底改了什么，还得复制到记事本里和昨天的版本做对比，两天就对不上了
• 用这个工具：把清单粘进窗口，第一次点「开始监测」建立基线；之后每次点一下，程序逐行比对并高亮「新增了哪几行、删掉了哪几行」，顺便告诉你哪些页面一个字没动、哪些页面打不开了
• 省下来的：一轮十几个页面的巡检从半小时压缩到十几秒，而且给出的是「第几行变成了什么」这种可以直接转述给同事的结论，不是「好像有点变化」

技术实现

运行期只用 Python 标准库，打包后是单个 exe，双击即用，不需要装 Python。整体是一条单向的数据流：地址规范化 → robots.txt 检查 → HTTP 抓取（gzip/deflate 解压）→ 编码六层嗅探 → HTML 过滤成「一行一段」的纯文本 → 与上一份快照逐行比对 → 收紧成只含变化点的差异片段。之所以把「文本行」作为比对单位，而不是比对整页 HTML：HTML 里每天都会变的东西太多（随机 ID、轮播位、时间戳、访问量），拿它做指纹等于每次都报「有变化」，工具就废了。

• 行级差异，并且把无变化的长段折叠掉：用 difflib.SequenceMatcher(autojunk=False) 对「文本行」做比对，得到 equal/delete/insert/replace 四种操作码，replace 会拆成「先删后增」两块，读起来就是「原来是什么 → 现在是什么」。随后 collapse_diff() 只保留每个变化点前后各 1 行上下文，其余折成一行「…（省略 N 行无变化）…」——一个 500 行的页面改了三处，界面上就是十几行，一屏看完。
• HTML → 文本行的三层过滤，且自闭合标签单独处理：用标准库 html.parser 建一个标签栈：SKIP_TAGS（script/style/iframe/svg…）整块丢弃，NOISE_TAGS（nav/footer/aside/form…）整块丢弃，再按 class/id 里的噪声词（nav、sidebar、comment、recommend、copyright…）丢弃容器。关键细节：<meta>、<link>、<input> 既在丢弃集合里、又永远没有结束标签，若照常 +1 计数，丢弃标记会永久挂着，整页正文被丢光——这一点在开发时真实踩到（几乎所有页面都有 <meta charset>），现在自闭合标签最先返回、不参与计数。
• 编码六层嗅探，顺序本身就是设计：BOM → HTTP 头 charset → meta 声明 → 严格 UTF-8 解码 → GB18030 字节特征 → 兜底。严格 UTF-8 必须放在字节特征之前：UTF-8 的 E4 B8 两个字节看上去正好像一对 GBK 双高字节，顺序写反就会把合法 UTF-8 误判成 GBK、整页变乱码。另外 gb2312/gbk 一律升级成 gb18030，能少踩「生僻字变成问号」的坑。
• robots.txt 按 RFC 9309 实现，默认开启：最长匹配优先（不是「第一条命中」）、同长度时 Allow 胜出、* 通配、结尾 $ 锚定、空值规则（Disallow: 后面什么都没有）必须丢弃否则整站被锁死、指名 UA 的组优先于 *。规则按「主机:端口」缓存，非标准端口的站点不会去 80 端口取错规则。被禁止的路径直接跳过，不抓、不重试。
• 快照只存文本行，且「没变化就不覆盖基线」：每个地址一个 sha1 快照文件，存的是文本行而不是 HTML。比对时：没变化就保留旧快照（这样「上一次变化是什么时候」这个信息不会丢），有变化才滚动基线。于是每次比对的对象都是「上一次确认过的版本」，不会出现「昨天改的、今天才看，结果只看到今天的小改动」这种漏读。
• 三个比对开关，专治「假变更」：忽略排版空白（网页排版多一个空格不算内容变更，默认开）、忽略大小写（英文站点）、忽略数字波动（访问量、编号会天天变，按需开）。这三个开关只是生成「比对键」时生效，界面上显示的仍然是原文，所以既能压掉噪声，又不会把真实数字改掉。

技术栈：Python 3.8+、tkinter 界面、纯标准库（运行期零第三方依赖）、html.parser 自建文本抽取、difflib 行级差异比对、PyInstaller 单文件打包（--noconsole）

已知局限：只读服务端直接返回的静态 HTML，不执行 JavaScript：靠前端框架渲染内容的页面抓到的是空壳，程序会明确提示「没有可读文本」而不是给你一份空文件。需要登录、需要验证码、或者 robots.txt 明确禁止抓取的页面不做处理（前者是能力边界，后两者是刻意的合规设计）。单个页面最多读 8MB、最多保留 2 万行文本，超出会截断。行级比对对「整段重排」（比如把三段话合并成一段）会显示为大段增删，这是行级比对的固有特性，此时建议开启「忽略排版空白」再看。

操作教程

1. 解压后双击打开
   解压压缩包，双击「网页内容变更监测.exe」。不需要安装 Python 或任何运行库。
   预期结果：出现主窗口：上方是网址输入框与四个按钮，左侧是监视列表，右侧是差异详情，底部是执行按钮与进度条。
2. 把要盯的页面加进清单
   在顶部输入框粘一个网址按回车；页面多就点「批量粘贴…」，一行一个地址贴进去。地址可以不带 https://，程序会自动补全；中文域名会自动转码。
   预期结果：左侧列表逐条出现网址，结论列显示「待监测」。重复的地址会自动跳过。
3. 第一次监测：建立基线
   点底部「开始监测」。第一次没有旧版本可比，所以程序只做一件事：把每个页面的可读文本抓下来存成本地快照。
   预期结果：结论列显示「新增基线」，状态栏汇总「N 个地址，0 个有变更」。这一步相当于告诉程序「现状长这样」。
4. 之后每次：看变化
   过一天（或过一小时）再点一次「开始监测」。程序把新抓的内容和上次的快照逐行比对。
   预期结果：有改动的行显示「有变更 +3 / -1」；点中该行，右侧差异区里绿色是新增行、红色是删除行，灰色是折叠掉的无变化段。
5. 按需切换比对开关
   页面上有访问量、随机推荐、编号这类会自己变的东西时，勾上「忽略数字波动」再跑一次，可以把假变更压掉。
   预期结果：原本天天报「有变更」的页面变回「未变化」，真正改过的页面仍然是「有变更」。
6. 导出这一轮的结论
   点「导出报告」，选保存位置。报告是 Markdown：先是本轮汇总表，再按页面列出以 + / - 开头的差异片段。
   预期结果：得到一份带日期时间的 .md 文件，可以直接贴进周报、发到群里，或者存档留证。

常见问题

技术实现与后续维护

整套工具由三个文件构成：核心逻辑、图形界面、本机演示站点，加一份 149 项断言的自测脚本。核心逻辑里没有一行界面代码，所有能力都是普通函数与普通类，所以改抓取或改比对规则时完全不牵扯界面。代码里对每个「为什么这么写」都有注释，尤其是几处踩过坑的地方（自闭合标签导致的跳过标记泄漏、严格 UTF-8 必须排在 GBK 字节特征之前、未变化时不要覆盖基线、tkinter 必须用主线程轮询队列）。日常维护主要盯三件事：站点新版式导致正文被误判成噪声（改 NOISE_WORDS 或给该站点加白名单）、编码嗅探在新语种站点上的表现、以及 diff 展示在超长页面上的折叠是否够用。

技术构成：

• src/change_core.py —— 核心逻辑（1298 行，含中文注释）：地址规范化、robots.txt 解析与缓存、HTTP 抓取与解压、编码嗅探、HTML 转文本行（含宽容/粗暴两级兜底）、行级差异与折叠、快照仓库、监测调度、报告生成。不含任何界面代码，可独立调用与测试。
• src/web_change_watch.py —— 图形界面（524 行）：tkinter 主窗口、监视清单增删、表格渲染与着色、差异面板、后台线程 + queue 轮询、报告导出、演示模式。
• src/demo_server.py —— 演示与自测用的本机小站点（218 行）：内置「改过的公告页 / 改了数字的定价页 / 没动过的 FAQ 页 / robots 禁止目录 / 404」，只监听 127.0.0.1。
• tests/selftest.py —— 内核自测（531 行，149 项断言）：地址规范化、robots 匹配、编码嗅探、文本抽取、差异比对、快照仓库、HTTP 抓取、端到端监测流程。全部离线，断网可复现。

运行环境：

运行环境：Windows 10/11（64 位）+ Python 3.8 以上，需自带 tkinter（Windows 官方安装包默认包含）。界面入口是 src/web_change_watch.py，自测入口是 tests/selftest.py（不需要外网，全部走本机回环地址）。重新打包成单文件 exe 用 PyInstaller：pyinstaller --onefile --noconsole --name 网页内容变更监测 src/web_change_watch.py；打包后务必双击 exe 跑一次演示模式确认界面正常（源码直跑正常不代表打包后正常）。

可扩展方向：

• 想加「定时自动巡检」：在 change_core.check_many 外面套一层调度（比如每 30 分钟跑一次），结果有变更时发一条系统通知；界面只需增加一个开关。
• 想加「变化才通知」的邮件/微信推送：build_report 已经产出 Markdown，接一个发信函数即可，把「有变更」的页面筛出来发。
• 想支持 JavaScript 渲染的页面：把 fetch_url 换成调用本机浏览器的方案（拿渲染后的 DOM），extract_from_html 之后的整条链路不用动。
• 想盯某个页面里的局部区域（只看报价表）：在 change_core 里加一层「区域选择」——按 CSS 选择器或前后文锚点截取文本行后再比对。
• 想保留完整历史版本而不只是最近一次：快照文件按时间戳追加（现在是覆盖式），再配一个「历史版本对比」界面。

本工具免费提供使用，但不对外分发源码。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护，可以联系我们做二次开发，源码与工程文档可在定制合作中一并交付。

使用说明与免责声明

• 本工具仅用于采集公开可见或你自身拥有权限的数据。
• 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
• 请合理控制请求频率，不要对目标站点造成访问压力。
• 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
• 因使用不当造成的后果由使用者自行承担；本工具不做数据二次分发。