昨天差不多花了5个小时对异常数据进行分析查找，定位了可能已隐藏2年的bug。
【过程】
起因：客户电话客服反映他app里面的“定期余额”和“总资产”不一致。
数据检查：“定期余额”和总资产”是两个统计指标，有相应的明细数据可以对比校验。经使用minus来检查发现“总资产”和明细是一致的。而“定期余额”和投资明细是不一致的，其中定期本金和投资明细中的本金一致，而其中的“定期余额”中的“待收收益”与投资明细中的收益不一致，问题出现在“待收收益”的统计上。再对全量数据minus检查，发现有130名客户的这个统计指标存在异常，这应该是一个bug，所以没有着急对数据进行修复，先分析数据，查找出原因。
数据分析：
1、先把minus的“待收收益”差异结果创建放到一个差异临时表，包括客户相关信息、本金、收益、差异金额等相关信息；对差异金额进行了排序，发现有的金额有几个客户都一致的特点。
2、跟“待收收益”相关的业务有产品成立和产品兑付两个。因为这个月处上线了一个提前兑付的版本，所以怀疑是这个版本引发兑付修改指标的问题，导致某只产品的收益没有从“待收收益”扣减。先从最简单的开始排查，先看差异金额是否能直接从这个月兑付的客户产品收益中直接找到对应值，没有；再排查上线后兑付的客户是否都落在上面的差异临时表中，发现只有部分客户匹配；所以应该跟这次提前兑付版本无关。继续深入排查，排查兑付历史，看是否有对应的产品收益等于差异金额，没有直接相等的。再比对差异金额排序的结果，（怀疑差异产生应该是同一天发生的），先找出某个差异金额相同的所有客户（4个），然后查找这4名的所有兑付历史明细，明细按日期排序，没有找到在同一天的数据，这样下来基本就排除了因为兑付导致统计指标的可能性。
3、从产品成立入手查找吧。还是先找出某个差异金额相同的所有客户（4个），然后查找这4名客户的所有产品成立明细、按日期排序，还真找到了有一天这4名客户都有产品成立的数据；再找另一个差异金额相同的客户印证是否存在同一天产品成立的情况，也找到了，基本上这就确认了方向，问题出在产品兑付上。
4、方向确认，那差额怎么来的呢？并没有某只产品的收益直接对应。再仔细方向该天的成立数据，发现其中1名客户abc有两笔产品成立，把这两笔产品的待收收益直接相减，结果竟然跟差异临时表的差额是一致的。问题基本确认是在产品成立过程出问题了，应该是当时第2笔产品B成立的收益用了第1笔产品A成立时的收益来累加“待收收益”（两者之间存在收益差异），所以导致统计指标多了“差异金额”值。
5、为什么其他3名客户也差了这个“差异金额”值呢？再观察产品成立数据（本金、收益），发现其他3名客户跟这名客户购买的产品B本金是一致的。再排除改产品的所有认购数据，发现只有这4名客户的认购本金一致，这样可以认为相同的B产品认购本金、都用了abc客户(当天2笔认购产品成立)的产品A的收益，所以这3名客户也跟着有相同的待收差异金额。。再找其他差异金额印证数据，发现都是如此，问题确定。
6、分析定位bug。通过以上的数据分析，确认bug应该在产品成立时的“待收收益”计算的逻辑代码部分，产品收益的取值变量有问题，可能是成立任务并发的问题引发、也可能是收益变量及相关本金的取值方式逻辑不对。这个定位已经很细了，剩下的交给开发人员去查找，这个BUG可能隐藏了2年了。
【总结】
1、通过异常数据的特点（如数据本身、数据排序），先从简单验证到复杂分析、对差异数据的业务相关点逐个排除印证，仔细花点时间是可以去具体定位问题发生点的。（至少已经4次通过这种方式查找定位这种隐藏很深的bug了。有一次指出bug位置开发人员特别不屑不服说不可能，强烈要求下看代码印证了我的正确）
2、平时要建立各种总分数据一致性监控校验的sql检查，避免问题拖延到客户反馈/大问题出现。（如上面拖延2年，若平时建立监控检查，应该在第一次发生异常数据是就能及时解决问题）
