去年秋天我给一个做职业培训的客户搭过一套热门话题预警。上线第一周五个人收到 300 多条提醒,第二周开始没人点,第三周客户问我「能不能先关掉」。那次不是采集没做对,是我把「抓得快」当成了「有用」。
这套东西真正难的地方不在抓取。接口稳定、去重能写、推送能通,这些一周内都能搞定。难的是让收到提醒的人相信「这条值得看」,而信任只来自一件事:平时别乱叫。
大家通常怎么做
搜「热门话题预警」出来的方案基本是同一个骨架:列出 10 到 30 个关键词,抓热搜榜或者搜索指数,设一个固定阈值(比如热度超过 5 万、或者一天提到超过 50 次),命中就推微信群。
站内早前那篇 百度指数批量采集在高校场景的应用 写的也是这个思路,只不过阈值换成了统计口径:某个关键词的搜索指数短时间内超过历史均值 3 个标准差就触发。做法本身没错,错在它只是一个起点,很多人把它当成了终点。
为什么这条路走不通
三个原因,我在自己那套系统上全踩过。
一是固定阈值不认业务节奏。招生季、「双十一」、财报季,声量本来就涨。用平峰的阈值套在旺季,一天能给你报几十条;反过来淡季又该报的没报。有家服务商写的案例里,橙色预警日均触发 8 次,其中 5 次是正常营销活动引起的,误报率 62.5%——这个数字他们标注为示例,但形状跟我遇到的一样。
二是没做转载去重。同一篇稿子被十个号转载,在你的表里就是十条独立信息,看起来像一个声量尖峰。这是最容易被忽略的一类假信号,因为它长得跟真信号一模一样。
三是所有预警推给同一个人。不分级的结果一定是全被忽略。行业里有个指标叫「预警忽略率」,指被团队判定为无需处理而直接关掉的比例——这个数一旦过半,系统实际上已经死了,只是没人敢说。
还有个更隐蔽的失败:情感判断算错。我见过把「某机构投诉率同比下降」判成负面爆点的,也见过把「涨价通知」的评论区当成人身攻击的。这类错误不报错、不崩溃,只是让你在半夜爬起来看一条好消息——站内 日历合并那篇 说过一句话我印象很深:能打开但内容全乱,是最坏的一种失败,因为用户看不出来。预警的情感标签也是一样的道理。
顺带说一句数字纪律:识微科技那篇讲阈值设置的文章里有一句很实在的话——预警的误报率、漏报率以及各等级处置比例,目前没有权威的公开调研数据。所以别在方案里写「可将误报率降低 80%」这种话,写不出来源。
换个思路:先算基线,再谈阈值
我现在固定按三周走,顺序不能调:
第一周只采集,不预警。把监测范围建起来,记录全部相关声量,一条提醒都不发。这一周的目标是拿数据,不是发现问题。客户当时不接受,觉得白烧一周,但正是这一周的数据让后面的阈值有依据。
第二周算基线。按天算日均声量、负面占比的波动区间、来源分布(哪些站、哪些号)。这些是你自己的基线,比任何外部参照都准——别人的「5 万」跟你的品类没关系。
第三周才设阈值并分级。用相对变化代替绝对值:负面提及量比近 7 日均值涨了两倍、同时命中风险词,才算一条。分级按处置动作分,不按严重程度分——「提示」是记一笔、「关注」是要人去核、「紧急」是要拉群。
这套「先采集、再定基线、最后设阈值」的顺序,站内 竞品关键词监控那篇 其实讲过一半:监控表做没做对,比监控有没有做重要。区别在于那篇讲的是表结构,这里讲的是阈值怎么来。
具体做法:一张表加四条规则
表结构。我只要九个字段:抓取时间、话题词、来源平台、来源链接、内容指纹(正文前 200 字的哈希)、是否首发、声量、情感倾向、是否已处置。少了「是否首发」就没法做转载归并,少了「是否已处置」就没法算忽略率。
规则一,转载去重。按内容指纹归并,一个指纹只留首发那条,其余计入「转载数」。归并之后声量才是真实传播规模。
规则二,双条件触发。相对涨幅达标 并且 命中风险词,两个条件同时满足才发。单看涨幅会被营销活动骗,单看风险词会被日常吐槽淹没。
规则三,白名单与排除词。自家账号、合作媒体、行业通用词的固定栏目,直接从预警范围里剔掉。这一条能砍掉相当一部分固定噪音。
规则四,按周期校准。给已知的业务节点(招生季、大促、发布会)单独存一套阈值,到点自动切换,过了自动回退。临时规则用完不回退,日常数据就会被带偏,这是我自己吃过的一次亏。
采集这一段我用站内两套工具拼:热搜榜这类榜单数据用 百度热搜解析程序 落成 CSV,长周期的趋势看 择云关键词挖掘 拉出来的内容样本——它给的是「这个话题下面的人在说什么」,比一个热度数字更能判断该不该叫人起床。百度指数那类接口单次只给 365 天,拉五年要请求五次(站内 批量采集百度指数的技术坑 里记过这笔账),所以长序列我一周只更新一次,不放进实时链路。
三级怎么切,给一组我实际用的数(纯示例,你的品类要自己算):提示级是声量比 7 日均值涨 1.5 倍,进每日汇总;关注级是涨 2 倍且命中风险词,进群但只 @ 值班人;紧急级是涨 3 倍、命中零容忍词、且两小时内出现三个以上不同来源,直接电话。三级的区别不在「多严重」,在「谁要在多久内动」。
推送这一环有个容易漏的点:告警三件套——阈值、接收人、通知策略——缺一件就不会发。站内 HertzBeat 部署那篇 里踩过同样的坑,配完规则以为完事,结果没有接收人,一条都没出去。
效果对比
把上面四条落到客户那套系统上,改前改后的差别不在「发现得更早」,在「发得更少」:日均提醒从四十多条降到个位数,其中被判为需要处理的占比从不到两成升到过半。客户那边的原话是「现在弹出来我会点开看」。
代价也要说清楚:响应会慢一点。双条件触发必然漏掉一部分只涨声量、没命中风险词的早期信号。我的取舍是宁可漏掉噪声期的苗头,也不让真信号埋在 300 条里。如果你的业务是危机公关,这个取舍要反过来——那就该把敏感词设成零容忍级,单独走一条通道,不管声量。
时间成本也记一笔:第一周建范围大约一天,第二周算基线半天,第三周调阈值一天,之后每周维护不到一小时。真正贵的是词库——风险词要跟着业务变,这个活没法一次做完,我通常每季度重看一遍。
最后是复盘。每周留十分钟,把上一周的预警过一遍,按「词太宽 / 转载没去重 / 阈值偏低 / 事件本身就没价值」归个类。这个动作比一次把阈值调准更有用,因为基线自己在变。
常见问题
没有历史数据,第一周的基线怎么算?
算不出来,只能先跑一周。想省时间可以拿同类目公开榜单的日榜数据先垫一个粗略区间,但那只是占位,第三周必须换成自己的数。
3 个标准差这个阈值还能用吗?
能用,前提是样本够。日声量在个位数的时候标准差没意义,一条就超三倍。样本少于 30 天,我建议改用「比近 7 日均值涨两倍」这种更粗但更稳的判断。
预警发到群里还是发邮件?
看处置动作。提示级进群会淹没,走每日汇总邮件;紧急级才进群并 @ 人。混在一起发,等于两个都失效。
能不能直接买现成的舆情系统?
能,但阈值仍然要你自己调。外部系统给的是采集能力和词库,基线是你自己的业务数据,这部分没人能替你算。
采集热搜合不合规?
只取公开榜单、控制请求频率、遵守目标站的 robots 与使用条款,不做登录态抓取、不绕过反爬。用于内部决策可以,二次分发别人的内容要单独看授权。

