4ho4(如提示需要,请输入)
这个工具解决什么问题
做内容站、企业站的人都碰过这个场面:朋友或者老板发来一句「听说 AI 会把我们的文章全抓走,我们挡了吗?」,你得去根目录翻 robots.txt。文件打开是几十行 User-agent 和 Disallow,写得还挺像回事——有通配分组、有几条 Allow 例外、还有 `/*?q=` 这种带通配符的写法。问题是你读不出结论。想验证,只能自己推:这条 Disallow 是不是也管 GPTBot?`Disallow: /private/` 后面那条 `Allow: /private/public/` 到底谁生效?ClaudeBot 的文档说它遵守 robots.txt,那它是被挡了还是没被挡?更麻烦的是「部分放行」这种情况——首页能抓,但后台目录被排除了,这算挡了还是没挡?搜索引擎官方工具只回答自家爬虫的情况,剩下十几家 AI 厂商全都没有工具可查。于是一个五分钟能说清的问题,最后变成「我也看不太懂,先这样吧」。
- 原来的做法:用记事本打开 robots.txt 一行行读,靠脑补判断分组归属与通配符;或者拿搜索引擎官方的测试工具,一次只能测一家;测完还是不放心,索性在文件末尾加一句 Disallow: / 把所有人一起挡掉
- 用这个工具:双击程序 → 填网址 → 点「开始检查」→ 表格里 14 个爬虫一行一个结论,右边写明它命中了第几行的哪条规则、为什么是这个结论 → 点「复制报告」直接发给同事
- 省下来的:一次检查不到一秒(含两三次网络请求),把「读文件猜规则」变成「看表格读结论」;要挡谁、放谁,看完就能决定,不用再靠试
技术实现
程序按「抓取 / 解析 / 编排 / 界面」四层切开,每一层都能脱离网络或窗口单独跑。抓取层(fetcher)只回答「这个地址返回了什么」,连 404、403 这种「不算成功」的响应也要原样交出来——因为对 robots.txt 来说,404 和 403 的含义正好相反。解析层(robots)是纯函数,吃字符串吐结构体,不碰网络也不碰窗口,所有边界情况都靠它自己的断言钉住。编排层(audit)负责把两层的结果拼成结论,并把「这对你意味着什么」写成人话;界面层只负责显示,不做任何判断。这样拆的直接好处是:判定规则改动时,跑一遍无界面自测就知道有没有改坏,不用点着窗口试。技术上最大的取舍是「不用现成的 robots 解析库」——PyPI 上那几个库要么把「禁止优先」写死,要么不支持同名分组合并,而这两点恰恰是最容易给出错误结论的地方。
- 判定按「最长匹配」,不是「见到 Disallow 就拉黑」:RFC 9309 规定同一分组内多条规则同时命中一条路径时,取规则文本最长的那条;长度相同则 Allow 优先。这条规定决定了 `Disallow: /private/` 配 `Allow: /private/public/` 的实际效果是「private 下的 public 仍然可抓」。很多在线测试器把顺序或「禁止优先」当成规则,结论就会正好相反。本工具把规则编译成正则后逐条匹配,按规则原文长度比大小,平局时 Allow 胜出。
- 分组归属:先按 UA 做前缀匹配,取最具体的那个:站点常把爬虫写成 `User-agent: GPTBot/1.0`,也可能写成完整的浏览器 UA 串,所以先把值截成第一个产品 token 再小写比较。一个爬虫可能同时匹配多个分组(比如同站里既有 Googlebot 又有 Googlebot-Image),这时取 token 更长的那个——写得越具体越优先。只有当一个具体分组都匹配不上时,才退回 `*` 分组。
- 同一个 UA 出现在多段里要合并,不能只认最后一段:规范允许把一个爬虫的规则拆到多个分组里,实际生效的是这些规则的并集。只认最后一组是很常见的实现错误,症状是「明明写了禁止,工具却说放行」。本工具把所有命中同一 token 的分组规则按文件顺序合并后再判定。
- 通配符只认两种,`$` 放在中间不算特殊字符:`*` 匹配任意串,`$` 只有出现在规则末尾才表示「路径到此结束」,出现在中间就是普通字符。把 `$` 一律当锚点,会让 `/a$b/` 这种规则匹配错。实现上是逐字符转义后再把 `*` 换成 `.*`、末尾补 `$`,并对 `$` 在中部的情况原样转义。
- HTTP 状态码本身就是结论:404 与 403 含义相反:robots.txt 返回 404 表示「没有这个文件」,按规范等于全部允许;返回 401/403 表示「不给你看」,按规范等于全站禁止;5xx 表示服务器暂时出错,规范要求爬虫保守地暂停抓取。urllib 遇到 4xx/5xx 会抛异常,必须接住并把状态码留下来,否则程序会把「全站禁止」误当成「网络错误」。这层判断单独做成一张对照表,自测里逐条钉住。
- robots.txt 与「能不能被收录」是两层,分开查:robots.txt 只管能不能来抓,管不了抓到的内容能不能用。一个站可以在 robots.txt 里完全敞开,却在首页写 `noindex`。所以检查完 robots.txt 之后会再取一次首页,读响应头里的 X-Robots-Tag 与 `<meta name="robots">`,把两层结论分开显示。X-Robots-Tag 允许多次出现,同名头要合并而不是覆盖——直接 dict 化会丢掉前面那条。
- 网络全在后台线程,界面不会假死:一次检查要发两三个请求,慢的时候能到十几秒。放在按钮回调里会让窗口白掉,用户以为程序坏了就再点一次,于是并发两轮检查互相覆盖。所以请求跑在 threading.Thread 里,状态文字与结果都通过 queue 回主线程,主线程每 60ms 取一次。tkinter 不是线程安全的,工作线程里直接动控件会随机崩,这种崩溃还很难复现。
- 中文与半结构化数据只要标准库:解析 robots.txt 用字符串与正则,解析首页用标准库的 html.parser(属性顺序、单双引号、跨行写法都能正确取到,用正则扫 HTML 迟早翻车),编码按「响应头 charset → UTF-8 → GB18030 → latin-1」的顺序兜底。整个运行版只依赖标准库,exe 11.5MB,不需要用户装任何运行库。
技术栈:Python 3.12(运行期只用标准库)、tkinter 图形界面、自写 robots.txt 解析器(按 RFC 9309)、html.parser 读首页 meta 声明、urllib + ssl 做只读抓取、PyInstaller 单文件打包(--noconsole)
已知局限:只检查你填写的那个域名,子域名与其它协议(http/https 各一份 robots.txt)需要分别检查;robots.txt 超过 500KB 的部分按规范忽略;不渲染 JavaScript,靠 JS 动态写入的 meta robots 读不到;`Crawl-delay`、`Request-rate` 这类非标准指令不参与判定;对需要登录才能访问的站点没有意义——robots.txt 本来就是给公开内容用的。结论只反映检查那一刻的文件内容,站点随时可能改动。
同类软件对照
下面几款都是公开可查的同类软件,定位各不相同。这里只说明各自的定位,以及本工具在其中的位置,方便你判断哪一类更契合自己的用法。
| 软件 | 它的定位 | 本工具的定位 |
|---|---|---|
| Google Search Console(robots.txt 报告) | Google 官方的站长工具,能显示 Googlebot 抓取时读到的 robots.txt 与最近一次抓取状态 | 它只回答 Google 自家的爬虫。本工具一次覆盖 14 个厂商的爬虫,并且把「训练语料 / 搜索引用 / 用户实时 / 传统搜索」分开结论——因为禁止 Google-Extended 与禁止 Googlebot 是两件完全不同的事。 |
| Bing Webmaster Tools(robots.txt Tester) | Bing 官方提供的规则测试入口,按 URL 检查是否符合 robots.txt | 同样是单厂商视角,且需要先验证站点所有权。本工具不需要注册、不需要验证所有权,任何公开站点都能直接查——看别人家的站也能看。 |
| Screaming Frog SEO Spider | 桌面端 SEO 爬虫,可模拟各搜索引擎 UA 抓取整站并报告被 robots 拦截的地址 | 它的目标是「爬完整站找问题」,代价是要跑一遍全站。本工具不爬正文,只读一个文本文件加一个首页,一两秒出结论,专门回答「哪些 AI 爬虫能进我的站」这一个问题。 |
| 各类在线 robots.txt 测试器 | 网页版工具,输入网址和 UA 后给出允许或禁止的判断 | 多数在线工具按「见到 Disallow 就禁止」判定,遇到 Allow 例外、同名分组、`$` 锚点就会给出相反结论;而且把网址提交给别人服务器这件事本身也有顾虑。本工具在本机跑,判定按 RFC 9309,并把命中的规则行号一起给你核对。 |
以上仅作定位对照,各软件的可用性、授权方式与功能范围请以其官方页面为准。
操作教程
- 解压后双击「AI爬虫准入检查.exe」
不需要安装 Python 或任何运行库。程序打开时窗口里已经预填了百业软件站的网址,可以直接点「开始检查」看效果。
预期结果:窗口打开,网址框里有一行地址,表格是空的,右边写着操作提示 - 把要检查的网址粘进「网址」框
粘贴整条链接也行(例如 https://www.example.com/post/123.html?a=1),程序会自动只取域名部分。不用手动补 https://,不写协议会按 https 处理。
预期结果:网址框里显示完整的地址,光标停在末尾 - 点「开始检查」,等进度条转完
程序会先读该站的 robots.txt,再读一次首页看有没有 noindex。整个过程通常不到两秒,慢的站点十几秒。检查期间按钮会变灰,避免重复点击。
预期结果:顶部五个小格依次填上:robots.txt 的 HTTP 状态、规则条数、Sitemap 条数、首页声明、本次耗时 - 看表格里的 14 行结论
每行是一个爬虫:爬虫名、厂商、用途(训练语料 / 搜索引用 / 用户实时 / 传统搜索)、结论(放行 / 部分放行 / 禁止)、命中的规则。结论用颜色区分,绿色放行、橙色部分、红色禁止。想只看有拦截的,勾上表格右上角的「只看有拦截的」。
预期结果:以百业软件站为例,14 行都显示「部分放行」,命中规则是「第 2 行 Allow: /」 - 点某一行,看右边为什么是这个结论
右侧会列出:生效的是哪个分组、一共几条规则、判定首页时命中的是哪一行、哪些目录被排除、以及这件事对你的实际影响。核对时对着 robots.txt 的行号看,一眼能对上。
预期结果:例如点 ClaudeBot,右边写着「生效分组:*(站点没有为它单独分组)」,并列出被排除的 4 个目录 - 点「复制报告」发给同事,或「导出报告」存成文件
报告是纯文本,竖着排好、宽度固定,粘到微信、邮件、工单里都不会散架。导出会存成 txt,用记事本打开不乱码。
预期结果:复制后状态栏显示「报告已复制到剪贴板(约 xxx 字)」;导出后弹窗告诉存到了哪里
常见问题
技术实现与后续维护
程序按「抓取 / 解析 / 编排 / 界面」四层分开,判定规则全部集中在解析与编排两层,且这两层完全不依赖窗口。日常维护的路径很清楚:AI 厂商新增或改名爬虫,只需要改一张表(src/agents.py 里的 14 条记录);robots 规范的细节要调整,改 src/robots.py;结论文案与「对你的影响」这类话术,改 src/audit.py。运行环境只有一条:Windows 10/11 64 位,解压双击即可,不需要装 Python 或任何运行库。每次改动后先跑无界面自测(87 项断言:解析、最长匹配、Allow 平局优先、通配符与 `$`、分组归属与合并、BOM、空 Disallow、HTTP 状态语义、网址规范化、meta 解析、五种站点形态的整体流程、报告渲染),再跑界面冒烟(32 项:线程回填、表格内容、详情联动、过滤、复制、导出、非法输入提示),两项都过再重新打包。解析层的改动尤其要先跑断言——robots.txt 的坑是靠样本覆盖出来的,靠推理想不全。
可扩展方向:
- 批量检查:一次贴入多个域名,输出一张对比表,适合手里管着好几个站的人
- 定时巡检:每天自动检查一遍并记录变化,某天发现 robots.txt 被人改了能立刻知道
- sitemap 探测:读 robots.txt 里的 Sitemap 声明后,再取一次看它是否真的可访问、里面有多少条地址
- 规则生成:按「允许 AI 搜索引用、禁止 AI 训练」这类常见诉求,直接生成一段可粘贴的 robots.txt
- 导出成表格:把结果写成 CSV,方便接进自己的报表或监控系统
本工具免费提供使用,功能完整、不设限制。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护,可以联系我们做二次开发。
需要其它功能?可以定制
这个工具只做一件事:AI 爬虫这两年成群结队地来抓站,可站长打开自己的 robots.txt 只能看到一堆规则行,看不出「GPTBot 到底能不能进来」——微软的 Bing 工具只认自家爬虫,在线测试器又常把「最长匹配」算错。如果你的场景还需要别的处理,可以联系我们做二次开发,按你的实际数据格式和流程定制。
常见的定制需求:
- 把检查结果接进公司内部的站点巡检脚本,每天跑一遍,异常时发到企业微信
- 按行业预设判定口径:比如资讯站只关心「训练类是否被挡」,电商站更关心「是否影响搜索引用」
- 加一份站点自己的白名单,只允许指定的几家 AI 爬虫,其余一律不让进
- 把报告模板改成公司格式,导出时自动带上站点负责人、检查周期等字段
- 联系方式:邮箱/微信见站内「联系我们」页面,或在本文下方留言
- 定制说明:请附上你的数据样例(脱敏即可)和期望结果,方便快速评估工作量
- 交付形式:定制项目交付可执行程序,支持后续版本迭代与长期维护
使用说明与免责声明
- 本工具仅用于采集公开可见或你自身拥有权限的数据。
- 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
- 请合理控制请求频率,不要对目标站点造成访问压力。
- 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
- 因使用不当造成的后果由使用者自行承担;本工具不做数据二次分发。
本工具只读取公开可访问的 robots.txt 与首页 HTML,属于被动读取,不对目标网站发起任何写入或高频请求。请仅检查你拥有或已获授权检查的站点;检查他人站点时请遵守对方的使用条款与当地法律法规。robots.txt 是「声明」而非访问控制手段,本工具给出的结论只反映文件字面内容,不构成任何收录、排名或法律意见。
4ho4(如提示需要,请输入)
