跳到主内容

Python 爬取百度热搜保存 CSV:HTML 解析和 JSON 接口两条路,实测后我只留一条

需求背景

结论先说:爬百度热搜存 CSV,能走 JSON 接口就不要解析 HTML 页面——接口 0.2 秒返回、无需登录、无需特殊请求头,而页面解析路线随时会因改版报废。这篇把两条路都摆出来对比,数据来自我 10 月 25 日的真机实测。

需求本身很朴素:每天把热搜榜存一份 CSV 快照,攒一段时间就能回答"这个词是哪天开始上榜的""热度爬到峰值用了几天"这类问题。站内那篇百度热搜内容解析 Python 程序写的是 HTML 解析路线,本文不再重复那条路的代码,重点补上接口路线和三条路的取舍。

方案A:HTML 页面解析,做法与代价

做法是请求 top.baidu.com/board?tab=realtime 页面,用 BeautifulSoup 按卡片类名逐条抽取标题和链接。优点是直观,看到什么解析什么,调试时肉眼可查。

代价也直白:类名是页面私有约定,百度一改版整个脚本静默失效——不是报错,是"正常跑完但一条都抽不出来",这种静默失败最消耗排查时间。页面还混着广告位和推荐位,抽取规则要不停地打补丁。我的判断很明确:除非要抓接口里没有的信息,否则这条路线不值得长期维护。

方案B:JSON 接口直取,做法与代价

接口地址是 https://top.baidu.com/api/board?platform=wise&tab=realtime,GET 请求,返回 JSON。实测 response 19,856 字节、0.18 到 0.30 秒返回,PC 浏览器 UA、甚至完全不带 UA 的裸请求都能通——网上流传"必须用 iPhone UA 才稳",至少 10 月 25 日这次实测三种写法都返回 200。

第一个坑在结构:JSON 嵌套两层,词条不在 data.cards[0].content,而在它下面每个块的 content 数组里,要两层循环才能展平。我第一版就栽在这——以为一层循环完事,跑了半天输出 0 行,回来逐层打印 key 才看见里面还藏着一层。

第二个坑更值得写下来:接口字段在缩水。9 月份两篇热榜接口实测文里写的 hotScore(热度分)和 desc(摘要)字段,本次实测已经不在返回里,词条字段只剩 isTop、index、word、url、hotTag 这几个,外加偶发的 labelTag 和 newHotTag。"按热度分排序"这件事现在做不了,榜单顺序就是接口给的顺序。热榜接口没有官方文档,字段随时会变,动手前必须先抓一次真实返回看结构。

完整代码如下,纯标准库,保存为 baidu_hot.py 直接运行:

import json, csv, time, urllib.request

URL = "https://top.baidu.com/api/board?platform=wise&tab=realtime"

def fetch():
    req = urllib.request.Request(URL, headers={"User-Agent": "Mozilla/5.0"})
    with urllib.request.urlopen(req, timeout=15) as r:
        return json.loads(r.read().decode("utf-8"))

def flatten(d):
    items = []
    for card in d["data"]["cards"]:
        for block in card["content"]:
            for it in block.get("content", []):
                if it.get("word"):
                    items.append(it)
    return items

d = fetch()
rows = [{
    "rank": it.get("index", ""),
    "word": it["word"],
    "is_top": it.get("isTop", False),
    "hot_tag": it.get("hotTag", ""),
    "url": it.get("url", ""),
    "snap_time": time.strftime("%Y-%m-%d %H:%M:%S"),
} for it in flatten(d)]

fname = "baidu_hot_%s.csv" % time.strftime("%Y%m%d")
with open(fname, "w", newline="", encoding="utf-8-sig") as f:
    w = csv.DictWriter(f, fieldnames=list(rows[0].keys()))
    w.writeheader()
    w.writerows(rows)
print(len(rows), "rows ->", fname)

实测输出 51 行:第 1 行是置顶词条(isTop 为 true、没有 index),后面 50 条 index 从 1 到 50。两个落盘细节别省:encoding="utf-8-sig" 让 Excel 双击打开中文不乱码;snap_time 列记录快照时间,将来按天对比时它是主键级别的字段。

还有一个天然属性要接受:接口返回的 url 是 m.baidu.com/s?word=... 这样的搜索页地址,不是新闻原文页——热榜词本身就是搜索词,要原文就得自己再走一步。另外置顶词条 index 为空,做排名分析时要先按 isTop 过滤,否则第一行会混进一个"没有名次"的词。

方案C:用现成的聚合项目

GitHub 上有一批多平台热榜聚合项目,微博、百度、B站一次抓完。省事是真的,但有两个约束:这类项目的字段解析同样绑死接口现状,百度字段一缩水,上游没更新你就跟着断;而且聚合多平台的代码塞了超出自需求的逻辑,出问题时排查链路反而更长。

我的取舍:自己只需要一个平台时,二十行标准库脚本可控性完胜;要同时盯五六个平台的编辑岗,才值得引入聚合项目。

横向对比表

维度HTML 解析JSON 接口聚合项目
单次耗时(实测)约 1 秒(含页面渲染资源)0.2-0.3 秒视平台数量而定
主要依赖requests + BeautifulSoup纯标准库即可项目自带依赖
失效方式改版即静默失败字段缩水需自查随上游维护浮动
热度分页面有展示可抠本次实测已无该字段视项目实现
适合场景临时取一次数每日快照长期跑多平台聚合需求

怎么选与合规边界

长期跑的每日快照,选方案B,没有悬念。写代码之外立三条规矩:频率控制住,每天一两次快照足够回答趋势问题,分钟级轮询是给自己找麻烦也给对方服务器添堵;这是公开数据但没有官方接口承诺,字段说变就变,展平函数里加个空列表保护,别让一次改版把定时任务打挂;抓下来的数据用于内部分析没问题,二次分发或商用前自己掂量边界。

想要"热搜词再往前一步"的数据,热榜只是入口,站内百度指数关键词趋势数据采集接口那条产品线才是配套的长期数据,两者配合看:热榜告诉你今天什么热,指数告诉你这个词热了多久。长期批量采指数要过的性能关,批量采集百度指数背后的技术坑里拆得很细。

常见问题

接口需要登录或 Cookie 吗?实测不需要,裸请求都能通。但反爬策略随时可能收紧,真遇到 4xx 先补浏览器 UA,再考虑降低频率。

为什么我的脚本返回 0 行数据?九成是展平只做了一层。真实结构是 cards 下面每块的 content 里还嵌一个 content 数组,逐层打印 key 看一眼最快。

热度分去哪了?还能拿到吗?本次实测接口已不返回 hotScore,热榜顺序即官方排序。需要量化热度得换数据源,页面端展示的数值可以抠,但那是另一条脆弱路线。

CSV 用 Excel 打开是乱码?写文件时用 utf-8-sig 而不是 utf-8,前者带 BOM 头,Excel 才认。

相关阅读

分享到:

本文链接:https://www.biyeyuanma.cn/post/369.html

服务热线

加我微信

加我微信