策略产品发现问题的四个方法：用户反馈收集、系统监控、效果回归、阶段性调研
方法二、系统监控
一、系统监控是什么
系统监控是一种针对相对稳定的产品，通过对数字性指标的收集和观察，自动、实时发现问题的有效手段。
首先，系统监控作用的产品类型是相对成熟和稳定的，因为我们要用机器的手段去发现问题，如果这个产品三天两头在重构，所有的数据表现一直在变，那我们是没办法去做监控的。并且对于一个成熟产品，它的模块通常比较多且复杂，PM没办法频繁去检查每个环节是否正常，那这个时候就可以借助机器的力量了。而机器很难模拟用户的真实体验，所以我们的监控对象是各类统计性的指标。
自动指的是我们可以利用机器去执行，可以一天24小时不停地去监控。实时指的是可以持续不断的去监控，并且可以在问题发生的第一时间去获知。自动和实时在很大程度上减少了我们的人力成本，并且增加了问题发现的时效性，可以及时帮助我们去止损。
系统监控是一个自动化的报警手段，能伴我们解放双手，只要我们给到对应的规则，不需要主动挖掘，自动的能帮助我们发现需求。
二、如何搭建监控体系
分为两步：
1.定义待监控指标：告诉机器要观察哪些指标
2.定义报警规则：告诉机器什么时候&如何通知我们
1.定义待监控指标
所以的产品流程都可以用上图的框架来抽象，整个框架分为两个部分。
一部分是用户直接感受到的，用户和产品发生的交互动作，比如说行为1、行为2，这部分可以称为“白盒”。白盒直接反映了用户的体验，这是需要我们密切关注的。
另一部分是用户发起请求的时候，我们为了给出下一步的反馈，系统内部不同模块做出的一系列动作。这些是用户不会直接感受到的，但这些动作直接影响了产品给出的反馈结果是什么，这些我们称之为“黑盒”。黑盒部分的运转是否正常，间接影响了用户的体验。
案例1：百度搜索
案例2：滴滴出行
案例3：淘宝消息推送
白盒部分可能会有功能和策略共同去作用控制，我们把整个这个控制以及针对他的监控称之为“效果监控”，指的是整个产品的体验效果的监控。我们把其中可以用来衡量用户体验的核心指标抽出来作为待监控指标。
黑盒部分监控的其实是各个模块之间的交互，怎样可以一步步地输出用户可以感知到的结果。对于功能产品来说，这其实是纯粹的技术模块之间的交互，比如说客户端和服务端API，服务端API跟更多的挂载的数据和服务之间的交互等等。这里的监控系统通常是由研发人员去搭建和维护的。对于功能和策略共存的产品来说，黑盒部分是有很多策略模块的，是需要由PM重点关注和观察的，所以这里面的监控系统是需要PM提出和发起搭建的。
所以，站在策略PM的角度，除了要针对白黑的效果监控之外，还要针对黑盒中的策略模块的监控，称之为“策略监控”。将效果监控分开，我们需要选取能够衡量各个策略效果的核心指标作为待监控指标。
根据产品流程的框架，我们把监控分为两种类型。
系统监控类型
1.效果监控
针对产品的白盒部分，监控用户的体验，即产品的核心目标。该指标发生异常变化时需要重点即刻关注。
2.策略监控
针对产品的黑盒部分，监控某个策略的运转情况，对象为各类中间指标。该指标经常受到某个项目迭代影响，监测作用大于监控。
“策略监控并不一定直接影响用户的体验”
2.定义报警规则
触发报警的条件：什么时候报警
报警的方式：怎么报警
触发报警的条件
根据产品历史数据得到正常波动区间，在正常区间外即发起报警给相关负责人。
报警方式
监控指标的重要程度和波动幅度决定了响应的及时性，我们根据响应的及时性来选择不同的报警方式：电话、短信、邮件。
如何界定正常波动区间？
1.数据敏感度
波动是否超越历史波动范围
2.三西格玛理论
波动范围在
如何评估指标重要程度？
两个衡量维度：对产品核心目标（用户体验、收入等）的影响面和影响程度。
四个分类：不重要、一般重要、重要、很重要
案例：今日头条的抓取策略
如何选择报警方式？
1.波动幅度高、重要程度低：短信
2.波动幅度高、重要程度高：电话
3.波动幅度低、重要程度高：短信
4.波动幅度低、重要程度低：邮件
上一篇：2.1 策略产品发现问题的四个方法（一）：用户反馈收集
下一篇：2.2【实例】效果监控系统搭建
