跳到主内容

AI爬虫准入检查 - 免费看清 14 个 AI 爬虫能否抓你的站(爬虫工具)

免费下载AI爬虫准入检查 v1.0.0
平台:Windows 10/11 (64位)大小:11.2 MB版本:v1.0.0更新:2026-10-30
提取码:4ho4(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
AI 爬虫这两年成群结队地来抓站,可站长打开自己的 robots.txt 只能看到一堆规则行,看不出「GPTBot 到底能不能进来」——微软的 Bing 工具只认自家爬虫,在线测试器又常把「最长匹配」算错

AI爬虫准入检查 运行界面

软件名称AI爬虫准入检查
版本v1.0.0
授权免费(可自由使用与转发)
运行方式本地运行,仅执行任务时访问你自己填写的地址
所属分类爬虫工具

这个工具解决什么问题

做内容站、企业站的人都碰过这个场面:朋友或者老板发来一句「听说 AI 会把我们的文章全抓走,我们挡了吗?」,你得去根目录翻 robots.txt。文件打开是几十行 User-agent 和 Disallow,写得还挺像回事——有通配分组、有几条 Allow 例外、还有 `/*?q=` 这种带通配符的写法。问题是你读不出结论。想验证,只能自己推:这条 Disallow 是不是也管 GPTBot?`Disallow: /private/` 后面那条 `Allow: /private/public/` 到底谁生效?ClaudeBot 的文档说它遵守 robots.txt,那它是被挡了还是没被挡?更麻烦的是「部分放行」这种情况——首页能抓,但后台目录被排除了,这算挡了还是没挡?搜索引擎官方工具只回答自家爬虫的情况,剩下十几家 AI 厂商全都没有工具可查。于是一个五分钟能说清的问题,最后变成「我也看不太懂,先这样吧」。

  • 原来的做法:用记事本打开 robots.txt 一行行读,靠脑补判断分组归属与通配符;或者拿搜索引擎官方的测试工具,一次只能测一家;测完还是不放心,索性在文件末尾加一句 Disallow: / 把所有人一起挡掉
  • 用这个工具:双击程序 → 填网址 → 点「开始检查」→ 表格里 14 个爬虫一行一个结论,右边写明它命中了第几行的哪条规则、为什么是这个结论 → 点「复制报告」直接发给同事
  • 省下来的:一次检查不到一秒(含两三次网络请求),把「读文件猜规则」变成「看表格读结论」;要挡谁、放谁,看完就能决定,不用再靠试

技术实现

程序按「抓取 / 解析 / 编排 / 界面」四层切开,每一层都能脱离网络或窗口单独跑。抓取层(fetcher)只回答「这个地址返回了什么」,连 404、403 这种「不算成功」的响应也要原样交出来——因为对 robots.txt 来说,404 和 403 的含义正好相反。解析层(robots)是纯函数,吃字符串吐结构体,不碰网络也不碰窗口,所有边界情况都靠它自己的断言钉住。编排层(audit)负责把两层的结果拼成结论,并把「这对你意味着什么」写成人话;界面层只负责显示,不做任何判断。这样拆的直接好处是:判定规则改动时,跑一遍无界面自测就知道有没有改坏,不用点着窗口试。技术上最大的取舍是「不用现成的 robots 解析库」——PyPI 上那几个库要么把「禁止优先」写死,要么不支持同名分组合并,而这两点恰恰是最容易给出错误结论的地方。

  • 判定按「最长匹配」,不是「见到 Disallow 就拉黑」:RFC 9309 规定同一分组内多条规则同时命中一条路径时,取规则文本最长的那条;长度相同则 Allow 优先。这条规定决定了 `Disallow: /private/` 配 `Allow: /private/public/` 的实际效果是「private 下的 public 仍然可抓」。很多在线测试器把顺序或「禁止优先」当成规则,结论就会正好相反。本工具把规则编译成正则后逐条匹配,按规则原文长度比大小,平局时 Allow 胜出。
  • 分组归属:先按 UA 做前缀匹配,取最具体的那个:站点常把爬虫写成 `User-agent: GPTBot/1.0`,也可能写成完整的浏览器 UA 串,所以先把值截成第一个产品 token 再小写比较。一个爬虫可能同时匹配多个分组(比如同站里既有 Googlebot 又有 Googlebot-Image),这时取 token 更长的那个——写得越具体越优先。只有当一个具体分组都匹配不上时,才退回 `*` 分组。
  • 同一个 UA 出现在多段里要合并,不能只认最后一段:规范允许把一个爬虫的规则拆到多个分组里,实际生效的是这些规则的并集。只认最后一组是很常见的实现错误,症状是「明明写了禁止,工具却说放行」。本工具把所有命中同一 token 的分组规则按文件顺序合并后再判定。
  • 通配符只认两种,`$` 放在中间不算特殊字符:`*` 匹配任意串,`$` 只有出现在规则末尾才表示「路径到此结束」,出现在中间就是普通字符。把 `$` 一律当锚点,会让 `/a$b/` 这种规则匹配错。实现上是逐字符转义后再把 `*` 换成 `.*`、末尾补 `$`,并对 `$` 在中部的情况原样转义。
  • HTTP 状态码本身就是结论:404 与 403 含义相反:robots.txt 返回 404 表示「没有这个文件」,按规范等于全部允许;返回 401/403 表示「不给你看」,按规范等于全站禁止;5xx 表示服务器暂时出错,规范要求爬虫保守地暂停抓取。urllib 遇到 4xx/5xx 会抛异常,必须接住并把状态码留下来,否则程序会把「全站禁止」误当成「网络错误」。这层判断单独做成一张对照表,自测里逐条钉住。
  • robots.txt 与「能不能被收录」是两层,分开查:robots.txt 只管能不能来抓,管不了抓到的内容能不能用。一个站可以在 robots.txt 里完全敞开,却在首页写 `noindex`。所以检查完 robots.txt 之后会再取一次首页,读响应头里的 X-Robots-Tag 与 `<meta name="robots">`,把两层结论分开显示。X-Robots-Tag 允许多次出现,同名头要合并而不是覆盖——直接 dict 化会丢掉前面那条。
  • 网络全在后台线程,界面不会假死:一次检查要发两三个请求,慢的时候能到十几秒。放在按钮回调里会让窗口白掉,用户以为程序坏了就再点一次,于是并发两轮检查互相覆盖。所以请求跑在 threading.Thread 里,状态文字与结果都通过 queue 回主线程,主线程每 60ms 取一次。tkinter 不是线程安全的,工作线程里直接动控件会随机崩,这种崩溃还很难复现。
  • 中文与半结构化数据只要标准库:解析 robots.txt 用字符串与正则,解析首页用标准库的 html.parser(属性顺序、单双引号、跨行写法都能正确取到,用正则扫 HTML 迟早翻车),编码按「响应头 charset → UTF-8 → GB18030 → latin-1」的顺序兜底。整个运行版只依赖标准库,exe 11.5MB,不需要用户装任何运行库。

技术栈:Python 3.12(运行期只用标准库)、tkinter 图形界面、自写 robots.txt 解析器(按 RFC 9309)、html.parser 读首页 meta 声明、urllib + ssl 做只读抓取、PyInstaller 单文件打包(--noconsole)

已知局限:只检查你填写的那个域名,子域名与其它协议(http/https 各一份 robots.txt)需要分别检查;robots.txt 超过 500KB 的部分按规范忽略;不渲染 JavaScript,靠 JS 动态写入的 meta robots 读不到;`Crawl-delay`、`Request-rate` 这类非标准指令不参与判定;对需要登录才能访问的站点没有意义——robots.txt 本来就是给公开内容用的。结论只反映检查那一刻的文件内容,站点随时可能改动。

同类软件对照

下面几款都是公开可查的同类软件,定位各不相同。这里只说明各自的定位,以及本工具在其中的位置,方便你判断哪一类更契合自己的用法。

软件它的定位本工具的定位
Google Search Console(robots.txt 报告)Google 官方的站长工具,能显示 Googlebot 抓取时读到的 robots.txt 与最近一次抓取状态它只回答 Google 自家的爬虫。本工具一次覆盖 14 个厂商的爬虫,并且把「训练语料 / 搜索引用 / 用户实时 / 传统搜索」分开结论——因为禁止 Google-Extended 与禁止 Googlebot 是两件完全不同的事。
Bing Webmaster Tools(robots.txt Tester)Bing 官方提供的规则测试入口,按 URL 检查是否符合 robots.txt同样是单厂商视角,且需要先验证站点所有权。本工具不需要注册、不需要验证所有权,任何公开站点都能直接查——看别人家的站也能看。
Screaming Frog SEO Spider桌面端 SEO 爬虫,可模拟各搜索引擎 UA 抓取整站并报告被 robots 拦截的地址它的目标是「爬完整站找问题」,代价是要跑一遍全站。本工具不爬正文,只读一个文本文件加一个首页,一两秒出结论,专门回答「哪些 AI 爬虫能进我的站」这一个问题。
各类在线 robots.txt 测试器网页版工具,输入网址和 UA 后给出允许或禁止的判断多数在线工具按「见到 Disallow 就禁止」判定,遇到 Allow 例外、同名分组、`$` 锚点就会给出相反结论;而且把网址提交给别人服务器这件事本身也有顾虑。本工具在本机跑,判定按 RFC 9309,并把命中的规则行号一起给你核对。

以上仅作定位对照,各软件的可用性、授权方式与功能范围请以其官方页面为准。

操作教程

  1. 解压后双击「AI爬虫准入检查.exe」
    不需要安装 Python 或任何运行库。程序打开时窗口里已经预填了百业软件站的网址,可以直接点「开始检查」看效果。
    预期结果:窗口打开,网址框里有一行地址,表格是空的,右边写着操作提示
  2. 把要检查的网址粘进「网址」框
    粘贴整条链接也行(例如 https://www.example.com/post/123.html?a=1),程序会自动只取域名部分。不用手动补 https://,不写协议会按 https 处理。
    预期结果:网址框里显示完整的地址,光标停在末尾
  3. 点「开始检查」,等进度条转完
    程序会先读该站的 robots.txt,再读一次首页看有没有 noindex。整个过程通常不到两秒,慢的站点十几秒。检查期间按钮会变灰,避免重复点击。
    预期结果:顶部五个小格依次填上:robots.txt 的 HTTP 状态、规则条数、Sitemap 条数、首页声明、本次耗时
  4. 看表格里的 14 行结论
    每行是一个爬虫:爬虫名、厂商、用途(训练语料 / 搜索引用 / 用户实时 / 传统搜索)、结论(放行 / 部分放行 / 禁止)、命中的规则。结论用颜色区分,绿色放行、橙色部分、红色禁止。想只看有拦截的,勾上表格右上角的「只看有拦截的」。
    预期结果:以百业软件站为例,14 行都显示「部分放行」,命中规则是「第 2 行 Allow: /」
  5. 点某一行,看右边为什么是这个结论
    右侧会列出:生效的是哪个分组、一共几条规则、判定首页时命中的是哪一行、哪些目录被排除、以及这件事对你的实际影响。核对时对着 robots.txt 的行号看,一眼能对上。
    预期结果:例如点 ClaudeBot,右边写着「生效分组:*(站点没有为它单独分组)」,并列出被排除的 4 个目录
  6. 点「复制报告」发给同事,或「导出报告」存成文件
    报告是纯文本,竖着排好、宽度固定,粘到微信、邮件、工单里都不会散架。导出会存成 txt,用记事本打开不乱码。
    预期结果:复制后状态栏显示「报告已复制到剪贴板(约 xxx 字)」;导出后弹窗告诉存到了哪里

常见问题

Q:「部分放行」到底算挡了还是没挡?A:算「能来,但只拿到一部分」。典型情况是站点允许抓正文、但把后台目录、搜索结果页、带查询串的地址排除了——对 AI 爬虫来说这基本等于「可以读我的文章,但别去翻我的后台」。如果你要的是彻底不欢迎,需要把首页路径也禁掉,也就是 `Disallow: /`。
Q:为什么我这里显示「禁止」,但别人说 GPTBot 抓到过他的站?A:robots.txt 是声明,不是防火墙。它只对守规矩的爬虫有效,而「守规矩」靠厂商自觉。另外有两个常见原因:一是站点在不同协议或子域名下有多份 robots.txt(http 与 https、www 与裸域是分开的),二是规则写错导致它其实没生效。要真正拦住,得靠登录、限流或防火墙规则。
Q:禁止 Google-Extended 会不会影响我的搜索排名?A:不会。Google-Extended 只控 Gemini 的训练与 grounding,与 Googlebot 的收录排名是两条线。真正影响收录的是 `Googlebot`。同理,Applebot-Extended 只控 Apple 的生成式模型训练,不影响 Siri 与 Spotlight 的收录。这两个正是最容易被误伤的。
Q:站点根本没有 robots.txt,工具说「全部允许」,这正常吗?A:正常,而且这正是规范规定的默认值:没有文件等于没有限制。报告里会写明「站点没有可读的 robots.txt」。如果你希望 AI 不要抓,就需要自己建一个 robots.txt 放上去。
Q:检查结果和我用搜索引擎官方工具测的不一样,信谁?A:先看测的是不是同一个爬虫——官方工具只回答自家那一个 UA,本工具同时覆盖 14 个。如果同一个爬虫结论不同,多半是「最长匹配」与「同名分组合并」这两处的算法差异,本工具按 RFC 9309 判定,报告里会写明命中的是第几行哪条规则,你可以对着原文件自己核。
Q:为什么我的网站检查时报「没能连上」?A:常见原因有三种:域名写错或站点已经下线;这台机器访问不了该站(部分境外站点在大陆会超时);对方证书有问题。界面上会给具体原因,比如「域名解析失败」「HTTPS 证书有问题」。程序只发了两次只读请求,不会对站点造成压力。
Q:工具会把我检查的网址上传到别处吗?A:不会。程序只做两件事:向你要检查的那个站点请求 /robots.txt 和首页,然后在本机算结论。没有账号、没有云端、没有统计上报,导出的报告也只存在你选择的文件夹里。
Q:一次能检查多个站吗?A:这一版一次检查一个站。要对比多个站,用「导出报告」各存一份即可——报告是纯文本,放到一起就能横向比。批量检查是后续可以加的方向。

技术实现与后续维护

程序按「抓取 / 解析 / 编排 / 界面」四层分开,判定规则全部集中在解析与编排两层,且这两层完全不依赖窗口。日常维护的路径很清楚:AI 厂商新增或改名爬虫,只需要改一张表(src/agents.py 里的 14 条记录);robots 规范的细节要调整,改 src/robots.py;结论文案与「对你的影响」这类话术,改 src/audit.py。运行环境只有一条:Windows 10/11 64 位,解压双击即可,不需要装 Python 或任何运行库。每次改动后先跑无界面自测(87 项断言:解析、最长匹配、Allow 平局优先、通配符与 `$`、分组归属与合并、BOM、空 Disallow、HTTP 状态语义、网址规范化、meta 解析、五种站点形态的整体流程、报告渲染),再跑界面冒烟(32 项:线程回填、表格内容、详情联动、过滤、复制、导出、非法输入提示),两项都过再重新打包。解析层的改动尤其要先跑断言——robots.txt 的坑是靠样本覆盖出来的,靠推理想不全。

可扩展方向:

  • 批量检查:一次贴入多个域名,输出一张对比表,适合手里管着好几个站的人
  • 定时巡检:每天自动检查一遍并记录变化,某天发现 robots.txt 被人改了能立刻知道
  • sitemap 探测:读 robots.txt 里的 Sitemap 声明后,再取一次看它是否真的可访问、里面有多少条地址
  • 规则生成:按「允许 AI 搜索引用、禁止 AI 训练」这类常见诉求,直接生成一段可粘贴的 robots.txt
  • 导出成表格:把结果写成 CSV,方便接进自己的报表或监控系统

本工具免费提供使用,功能完整、不设限制。如果你需要在本工具基础上做功能调整、对接内部系统或长期维护,可以联系我们做二次开发。

需要其它功能?可以定制

这个工具只做一件事:AI 爬虫这两年成群结队地来抓站,可站长打开自己的 robots.txt 只能看到一堆规则行,看不出「GPTBot 到底能不能进来」——微软的 Bing 工具只认自家爬虫,在线测试器又常把「最长匹配」算错。如果你的场景还需要别的处理,可以联系我们做二次开发,按你的实际数据格式和流程定制。

常见的定制需求:

  • 把检查结果接进公司内部的站点巡检脚本,每天跑一遍,异常时发到企业微信
  • 按行业预设判定口径:比如资讯站只关心「训练类是否被挡」,电商站更关心「是否影响搜索引用」
  • 加一份站点自己的白名单,只允许指定的几家 AI 爬虫,其余一律不让进
  • 把报告模板改成公司格式,导出时自动带上站点负责人、检查周期等字段
  • 联系方式:邮箱/微信见站内「联系我们」页面,或在本文下方留言
  • 定制说明:请附上你的数据样例(脱敏即可)和期望结果,方便快速评估工作量
  • 交付形式:定制项目交付可执行程序,支持后续版本迭代与长期维护

使用说明与免责声明

本工具涉及数据采集,请在合法合规的前提下使用。
  • 本工具仅用于采集公开可见或你自身拥有权限的数据。
  • 请遵守目标网站的服务条款、robots 协议及《网络安全法》等相关法律法规。
  • 请合理控制请求频率,不要对目标站点造成访问压力。
  • 不得用于采集个人隐私、付费墙内容或任何受法律保护的非公开数据。
  • 因使用不当造成的后果由使用者自行承担;本工具不做数据二次分发。

本工具只读取公开可访问的 robots.txt 与首页 HTML,属于被动读取,不对目标网站发起任何写入或高频请求。请仅检查你拥有或已获授权检查的站点;检查他人站点时请遵守对方的使用条款与当地法律法规。robots.txt 是「声明」而非访问控制手段,本工具给出的结论只反映文件字面内容,不构成任何收录、排名或法律意见。

免费下载AI爬虫准入检查 v1.0.0
平台:Windows 10/11 (64位)大小:11.2 MB版本:v1.0.0更新:2026-10-30
提取码:4ho4(如提示需要,请输入)
下载地址 ▾
解压后双击即可运行,无需安装任何运行环境;只在执行任务时访问你自己填写的地址,其余处理都在本机完成。
分享到:

本文链接:https://www.biyeyuanma.cn/post/388.html

服务热线

加我微信

加我微信