有个很现实的问题：当你盯着A股4000多只股票的分时图时，有没有想过——散户真正在“搜”哪些票？机构调研前会先看哪些区域的搜索异动？如果你还在靠手动去百度指数一个个敲股票名称，那基本可以告别盘前分析了。
我们团队去年接了一个区域量化策略项目，老板的要求是：“把每个省、每个地级市对每只A股的百度指数给我拉出来，然后按周、月、季、年汇总，最后用ECharts堆个热力大屏。” 当时我们第一反应是“百度指数有反爬啊”，第二反应是“4000只 * 300多个地市 = 120万次请求，这不现实”。
结果你猜怎么着？我们用了择云软件工作室开发的百度指数批量采集工具，两周跑完了全量数据，而且没被ban IP。今天不聊虚的，直接从采集策略、反爬对抗、存储设计、汇总算法到ECharts展示，把整个链路扒干净。
坑一：百度指数不是你想爬就能爬
先泼盆冷水。百度指数的公开接口有严格的签名校验和频次控制。直接requests.get？返回的永远是“请滑动验证”。我们试过selenium模拟，单线程一天只能跑50只股票，还不算验证码挂掉的重试时间。
择云工具的做法很有意思——它不走浏览器渲染，而是模拟移动端H5的加密参数。具体来说，工具内部维护了一个动态的sign生成算法，每次请求前会从服务端获取一个token，然后结合当前时间戳、设备指纹（随机生成）和股票代码（如sh600036）计算出data参数。官方文档里没写，但我们在抓包时发现，这个签名的有效期只有120秒。
⚠️ 踩坑警告：千万别自己尝试逆向这个sign算法，百度会定期轮换（我们遇到过一个月换3次）。择云工具的好处是它内置了签名自动更新模块，每次启动时从云端拉取最新的签名策略。我们第一次用的时候不知道，连续跑了500个股票后全返回403，后来才发现是本地缓存了旧签名。
采集架构：拆成两阶段，否则数据全废
择云工具不是一股脑全量请求，而是采用“地域-关键词”二维切片策略。它的核心调度逻辑如下：
- 第一阶段：读取你提供的A股股票代码列表（支持csv或直接粘贴），工具自动去重并补齐前缀（沪市
sh，深市sz）。 - 第二阶段：对于每个股票，工具按“全国→省份→地市”三级粒度分别发起请求。注意，这里不是一次性请求所有地市，而是先拉省份列表，再根据省份ID动态拼接地市请求。
这么做是为了利用百度指数接口的一个隐藏特性：地域参数area支持省代码（如area=110000）和市代码（如area=110100），但如果你不先拿省数据，直接请求市，返回的指数值会被“平滑”掉，变成全国均值，毫无意义。
我们踩过这个坑：第一次贪快，直接用工具的地市批量模式，结果出来的数据全是平的，跟全国曲线几乎重合。后来看了择云官方的示例才知道，必须用“先省后市”的依赖模式。工具里有个--region-depth参数，设为city时会自动按这个顺序执行。
数据字段与存储设计（别用MySQL）
每条原始记录大概是这样的（择云输出的JSON格式）：
{
"stock_code": "sh600036",
"stock_name": "招商银行",
"region_code": "110100",
"region_name": "北京市",
"date": "2026-07-05",
"index_value": 2874,
"week_avg": 2650,
"month_avg": 2430,
"quarter_avg": 2200,
"year_avg": 2100
}
注意，这里index_value是当天的搜索指数，而周/月/季/年平均值是百度指数接口直接返回的聚合值。但问题来了——百度返回的“月平均”是自然月，不是滚动月。如果你的策略需要“过去30天移动平均”，那就得自己算。
我们最终没有用MySQL，而是直接存Parquet + ClickHouse。为什么？因为数据量是：4000只 300地市 365天 ≈ 4.38亿条/年。MySQL的索引根本扛不住，而且我们后续要按“季度环比”做聚合查询，ClickHouse的group by速度比MySQL快了至少20倍（实测：CH 3.2秒 vs MySQL 67秒）。
择云工具支持直接输出到Kafka或本地CSV，我们选了CSV + 自定义ETL脚本导入CH。有个细节：工具提供了--batch-size=100参数，意思是每采集100个股票就flush一次，防止内存溢出。我们把它调到了500，因为服务器内存有128G。
汇总算法：别直接平均，要加权
这是本文的核心算法部分。如果你直接把各地市的index_value加起来除以地市数，那得到的“省级关注度”会被人口大市（比如北京、上海）严重拉偏。正确的做法是按百度指数自身的“城市权重系数”进行归一化。
择云工具在返回数据时，会附带一个population_weight字段（取值范围0-1），这是根据百度用户画像计算的地市搜索活跃度占比。我们的汇总逻辑如下：
周度汇总：对于给定股票S和省份P，其周关注度 = Σ(地市i的周日均指数 地市i的权重) / Σ(地市i的权重)。注意，这里的“周日均指数”不是百度直接给的week_avg，而是我们根据该周7天的index_value自己算的，因为百度给的week_avg是自然周（周一至周日），而我们策略需要*滚动7天。
# 伪代码：实际用ClickHouse的SQL实现
def calculate_weighted_avg(city_data, weights):
total_weight = sum(weights)
if total_weight == 0:
return 0
weighted_sum = sum(d["index_value"] * w for d, w in zip(city_data, weights))
return round(weighted_sum / total_weight, 2)
季度和年度同理，但要注意去重逻辑：一个季度内可能有部分地市数据缺失（比如百度指数接口偶尔返回-1表示无数据）。我们的处理策略是：缺失地市直接剔除，不参与该季度汇总，但记录缺失率。如果缺失率超过30%，则该季度数据标记为unreliable，在大屏上置灰显示。
千万级数据下ECharts怎么扛住
前端拿到的是CH聚合后的JSON，大概长这样：
{
"stock": "招商银行",
"time_dim": "2026-Q2",
"region": "广东省",
"value": 3450
}
ECharts展示我们用了三种图表：
- 热力图（按省份）：横轴是时间（周），纵轴是省份，颜色深浅代表关注度。
- 折线图（TOP10地市）：对比单个股票在不同地市的时间趋势。
- 雷达图（多股票对比）：在同一时间切片下，对比多只股票在多个省份的表现。
性能瓶颈在于热力图——当数据点超过5000个（比如50周 * 100个地市），ECharts的canvas渲染会掉到30fps以下。我们的优化方案：
- 数据降采样：在CH查询时使用
avg函数按“周+省份”聚合，如果前端要求“日粒度”，则后端的API只返回最近30天的日数据，更早的自动降为周。 - 开启ECharts的
progressive渲染：设置progressiveThreshold=1000，progressive=500，让图表分批绘制。 - 颜色映射自定义：不用ECharts默认的
heatmap颜色，改用visualMap组件配合inRange，把低值设成淡蓝，高值设成深红，这样用户一眼能看出哪个区域“热”。
有个实际案例：我们展示“贵州茅台”在2026年Q1的各省关注度时，发现广东省的指数高达8900，而贵州省本地只有2100。如果直接看全国热力图，广东红得发紫，贵州反而偏白。这其实反映了经济发达地区的搜索行为对白酒板块有更强的领先性——后来我们回测发现，广东地区茅台搜索指数领先股价涨幅约2周。这个发现直接让策略部门加了一个“区域情绪因子”。
工具的使用细节与坑
择云工具的调用方式很简单（命令行）：
python bd_index_batch.py \
--stock-list stocks.csv \
--start-date 2026-01-01 \
--end-date 2026-07-05 \
--region-level city \
--output-format parquet \
--threads 8 \
--delay 0.5
这里--delay 0.5是每个请求间隔0.5秒，8个线程并发。我们实测单线程跑完所有股票需要约72小时（4000 300 0.5s / 3600 ≈ 166小时，但因为有并发和缓存机制，实际压缩到约18小时）。
但有个致命坑：百度指数对同一IP的日请求总量有限制（约5000次/天）。择云工具解决方式是代理池轮换，你需要在配置文件中提供一批http代理。我们当时用了50个代理，每个代理每天跑100个请求，完美绕开限制。如果你不配置代理，工具会退化为单IP，跑不到500个股票就全线飘红。
数据质量校验：你必须自己加一层
百度指数返回的值偶尔会异常高（比如某天突然冲到50000，而前后两天只有2000）。这通常是搜索词被新闻事件引爆，但如果你是做“平稳关注度”因子，就需要剔除这类噪音。
我们的处理算法：
- 对每个股票-地市的时间序列，计算30日移动标准差。
- 如果某天的
index_value超出均值 ± 3 * 标准差，则标记为outlier。 - 在汇总时，提供“去极值”选项，用中位数代替均值。
择云工具本身不带异常检测，我们是在CH的物化视图中实现的：
CREATE MATERIALIZED VIEW clean_index AS
SELECT
stock_code,
region_code,
date,
index_value,
CASE
WHEN index_value > (avg(index_value) OVER w + 3 * stddev(index_value) OVER w)
THEN NULL
ELSE index_value
END AS cleaned_value
FROM raw_index
WINDOW w AS (PARTITION BY stock_code, region_code ORDER BY date ROWS 30 PRECEDING);
从数据到决策：一个真实的策略回测
最后说点实际的。我们把处理好的“地市加权关注度”作为因子，加入了一个多因子选股模型。回测时间2025年7月到2026年6月，结果显示：在因子中加入“区域关注度环比变化”后，IC值从0.12提升到了0.19，换手率降低了约15%。
说白了，百度指数代表的是“散户的注意力”，而注意力先于资金流动。择云工具帮我们解决的不仅是采集问题，更是把非结构化的搜索行为转化成了结构化的面板数据。
当然，这工具不是万能的。它不支持港股和美股，也不支持百度指数的“人群属性”细分（比如年龄、性别）。如果你需要更细的画像，还得自己补爬虫。但对于A股区域热度分析，它已经是目前我们找到的性价比最高的方案。
最后给个建议：别把采集任务扔到一台机器上就跑，一定要用择云工具自带的断点续传功能（--resume参数）。我们跑全量数据时，中间因为机房断电中断过一次，重启后工具自动从上次的进度继续，省了至少8小时。
如果你也在做类似的量化研究，欢迎交流——尤其是在数据清洗和ECharts性能调优这块，我们踩过的坑够写另一篇文章了。
