Python 抓动态网页,正确顺序是先看原始 HTML 里有没有数据,再找 XHR 接口,最后才开浏览器。我在一个项目上把顺序搞反了:先上无头浏览器跑了一个季度,后来发现目标页的数据本来就写在 HTML 里——5,808 字节、一次请求 0.77 秒拿到全量。
那是个商品列表页,滚动加载、骨架屏、分批出现,看上去是标准的"必须渲染"。后来同事图省事 curl 了一遍,回来问我:这数据不在页面里吗?我打开他截的图,var data = [...],十条商品全在,字段一个不少。
那天之后我把流程重写成三步判定,每步都用同一份对照实验量开销。站内 Playwright 和 Selenium 怎么选 讲的是两个框架之间的取舍,这篇讲"要不要用框架"这一层。
准备:环境与前置条件
我这台机器是 Windows + Python 3.13.12,本机已装 Chrome。第一步和第二步只用标准库(urllib.request、re、json),不装任何包;第三步要用 Playwright 的话,pip install playwright 之后不要跑 playwright install,直接 launch(channel="chrome") 复用本机 Chrome,省掉几百兆浏览器官网下载。
对照组选 quotes.toscrape.com——一个专门给爬虫练习的公开站点,同一批十句名言有两个版本:/ 是服务端渲染,/js/ 用 JavaScript 写入 DOM。内容完全一致,刚好吃掉"静态 vs 动态"这个变量。框架版本记一下:Playwright 官方 2026 年 10 月 14 日发 v1.64.1,我测的就是这条线。
步骤一:先在原始 HTML 里找数据
第一步永远是拿未渲染的响应,然后数目标节点、搜内嵌数据、算体积:
html = urllib.request.urlopen(req, timeout=30).read().decode("utf-8", "ignore")
print("字节", len(html))
print("节点数", len(re.findall(r'class="quote"', html)))
m = re.search(r"var data = (\[.*?\]);", html, re.S)
print("内嵌条数", len(json.loads(m.group(1))) if m else 0) 跑出来四个数:0.765 秒、5,808 字节、节点数 1、内嵌条数 10。
这里有个必须点出来的陷阱:节点数得到 1,不是 0。那 1 个命中来自页面里的 document.write("<div class='quote'>...") 字符串常量,是 JS 代码里的字面量,不是真节点。拿这个 1 判断"页面里有数据"会得出完全相反的结论;反过来,有人用"节点数为 0"证明"必须渲染",也只是正则刚好没匹配到脚本里的字符串。
真正的答案是最后一行:10 条,字段为 text、author、tags,第一条作者 Albert Einstein,跟渲染后一模一样。数据从来没"动态生成"过,只是被 JS 从变量搬到了 DOM 里。
常见藏身处按出现频率排:<script> 里的 var data = [...]、application/ld+json、__NEXT_DATA__、window.__INITIAL_STATE__。站内 Python 爬取百度热搜存 CSV 走的是"HTML 解析 + JSON 接口"双路线,思路同源,只是没碰到"数据藏在 script 里"这一层。
步骤二:再找数据接口
第一步真没找到内嵌数据,就在 Network 面板找返回 JSON 的请求。标准三条:响应体是 JSON、有目标字段、不依赖页面交互状态。
收益比分页 HTML 大,因为接口一次给一页甚至几十条,字段还干净。代价是接口往往带签名——时间戳、sign、nonce,对方改一次算法脚本当天就挂。我遇到过签名用几段混淆 JS 算出来的,逆向成本远超收益,最后退回浏览器方案。所以取舍不是"能不能",而是"能撑多久"。
步骤三:最后才开浏览器,别每页开一个进程
必须渲染时,成本差异不在渲染,在进程怎么起。我测了两种方式。
命令行 dump。直接调 chrome --headless=new --dump-dom URL,不需任何 Python 包。冷启一次 3.629 秒;换独立 profile 再跑五次,分别是 2.174、1.931、2.285、2.305、2.109 秒,均值 2.161 秒。同页起四个实例并发,总耗时 6.014 秒,四条都拿到 10 条数据——并发没问题,单页成本下不去。
复用实例。Playwright 起一次 Chrome(channel="chrome"、headless),启动只要 0.365 秒;首次 goto 2.613 秒(含 TLS 握手与静态资源);之后同一个 page 连翻九页,耗时 0.594、0.581、0.589、0.587、0.574、1.315、0.575、0.910、0.578 秒,均值 0.700 秒。同一上下文开四个 page 并发抓同页,总耗时 2.727 秒,四个都拿到 10 条。
两组数摆一起,结论有点反直觉:复用后单页 0.70 秒,和步骤一"直接请求 + 解析内嵌 JSON"的 0.765 秒几乎打平。渲染本身不慢,慢的是"每页一个新进程"。我原以为浏览器贵在跑 JS,实测下来贵在启动和收尾。
还有个被忽略的带宽项:/js/ 会额外拉一个 jquery.js,84,345 字节,是 HTML 本身的 14.5 倍,另两条路都不需要它。
结果校验:三组数必须对得上
不管走哪条路,落地前三项核对,缺一个都会在两周后返工。
第一,条数。同一页两条路各抓一次,条数必须相等:这次静态页 10 条、渲染后 10 条、内嵌 JSON 10 条。渲染那条路要注意 DOM 里会数出 11 个——document.write 的字符串常量还在脚本里,这个偏差很容易被误判成"渲染多出一条数据"。
第二,字段能不能空。抽三条逐字段看有没有空串和 None。渲染最常见的坑不是抓不到,而是抓到壳——骨架屏占位节点带同样的 class,等真实数据渲染完,选择器一抓一大把空值。
第三,体积差异要能解释。原始 5,808 字节、渲染后 9,179 字节,多出的 3,371 字节就是 JS 生成的十个 <div>。差值远超这个量级,通常混进了推荐位或广告位,会污染字段抽取。
顺带提醒 Scrapy 用户:站内 Scrapy 项目怎么跑通 测过 CONCURRENT_REQUESTS_PER_DOMAIN=1 与 DOWNLOAD_DELAY=1 默认生效,"Scrapy 慢"多半是这个节流。换成浏览器渲染后节流还在,两个成本会叠加。
常见问题
问:怎么快速判断一个页面要不要渲染?
curl 一遍存成文件,全文搜目标节点的特征串,再搜 application/ld+json 和 __NEXT_DATA__。搜得到就不用渲染,十秒钟的事,比开开发者工具快。
问:数据被 base64 套了一层,还要开浏览器吗?
先确认加密是不是只在传输层——有些站把数据 base64 后塞进 script,解码就能用,三行代码解决,别为它上浏览器。
问:并发开多少合适,合规边界在哪?
四个 page 并发耗时 2.727 秒接近线性,但本机不等于生产:容器里 /dev/shm 常只有几十兆,不加 --disable-dev-shm-usage 会随机崩。合规三条:看目标站 robots 与服务条款、控频、不抓需要登录才能看的私有数据。站内 WebView2 抓取动态网页 是同一套渲染思路,宿主换成桌面程序,边界一样。

