基线告警一声不响,事故照样在发生:指标掉了该怎么查的四步

上篇《听 AI 建议涨粉,一夜丢了 98% 推荐流量》说了,我听 AI 建议去涨粉,第二天推荐流量掉了 98%。回头问它,它拿一份漏了六成流量的数据判我无罪。

换成对的口径,我又查了一天。这四步跟公众号没关系,是我在生产上排指标异常天天用的那套。

一、拆渠道,先看形状

微信把阅读来源分成几档:会话、推荐、转发、历史消息、搜一搜。

推荐流 1592 掉到 29,其余渠道不降反升。好友转发 17 涨到 30,历史消息 89 涨到 114,搜一搜 23 涨到 99。

公众号会话那档从 328 到 157,看着腰斩,其实落在 110 到 209 的日常区间里。

这个形状一次排除两种解释。读者没有不看,真读者走的渠道在涨;账号也没被封,封号是所有渠道一起归零。被收掉的,是推荐流的分发资格这一项。

这个区分决定接下来干什么。内容问题改内容;资格问题改内容一点用都没有,你把文章改成什么样它都不给你推。

二、量基线,然后小心基线骗你

我的动作在 18 号中午。而 18 号那天的推荐流从前一天的 3180 掉到 1592,正好腰斩,正好对上少了半天。

这个推理顺得让人舒服,顺到我差点直接写进结论。

幸好多做了一步,去看没动手那几天跌幅多少。

灰色那列是 15 号,我什么都没做,四篇分别掉了 45%、55%、27%、17%。而 17 号到 18 号,四篇掉 49%、46%、58%、36%。同一个量级。

于是这天成了一笔糊涂账。可能是跟 15 号一样的自然波动,也可能真是午休动完手、下半天被掐。两种机制能产出同一个数字,这天的数据分不开。

我一开始想写成「18 号属于正常呼吸」,那是急着给自己脱一半罪。

量出基线只能告诉你这个数字不算异常,不能告诉你什么都没发生。

工作里这种盲区太常见。某个接口平时浮动 50%,今天因为一个 bug 掉 50%,告警一声不响,事故是真的——你得等它掉 99% 那天才会被叫醒。

三、找那个「本该在涨却停了」的

还剩一个解释:那批老文的推荐窗口真的同时到期了。这也是 AI 第一轮给的答案,听着最合理。

堵死它的是这一篇。

这篇上月 10 号发的。之后整整 17 天,每天只有 0 到 4 个人从推荐流点进来,基本等于没热。然后 7 号,它突然被推荐池捞了起来,一路爬,17 号冲到 504——上线 38 天以来最好的一天。

两天后,剩 3 个人。

它干掉两个解释。所谓「窗口到期」不存在——发布 28 天都没热的文章能突然被捞起来,说明推荐池不按发布时间走。自然退潮也不长这样,正在创峰值的文章不会两天后自己掉到 0。

正在往上爬的东西,不会自己归零。

四篇一起、同一天、都在还有量的时候被切齐,其中三篇 17 号刚创下峰值。四个巧合同时发生,那就不叫巧合。

四、话说到什么分寸

这是时间吻合加形态吻合,够不上因果铁证。同一天平台自己调整推荐池,理论上也可能。

但四篇齐跌、三篇在创峰值时被砍、其他渠道完好、跌幅比日常波动高一个数量级,这几条摆在一起,指向账号级动作的概率远高于巧合。所以我按大概率行动:停掉那个动作,看几天推荐流回不回来。不当铁证去写举报,也不当巧合继续加码。

能把话说到几分就说到几分。这是排查里最难的一步,比找到线索难。

三天过去了,没回来

全站推荐流 18 号 1592,19 号 29,20 号 62。老文那七篇最后几天全在个位数。

倒是每天新发的那篇当天还能吃到几十个推荐,20 号那篇 54 个,占它当天阅读四成。

被收掉的是存量老文的推荐位,新内容还留着一个几十量级的口子。

这四步,跟公众号没关系

先确认口径。分母是什么,窗口多长,包含哪些对象。

再拆维度。是全渠道掉,还是只有一个渠道掉。

然后量基线。没出事的那几天波动多少。

最后找「本该在涨却停了」的样本。把自然衰减和人为切断分开。

第三步的陷阱我这次踩了。落在正常区间里的事故照样是事故,只是没人叫你起床,第四步才是真正定性那一步。

第一步排在最前面,是因为它错了后面全废。上篇那三条判据就是这么废的——每个数字都真,全长在一张漏了六成流量的表上。

点这里看原文

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容