摘要

上一篇，提到了互联网公司的内容审查业务慢慢从幕后被大家了解。我们用“数据驱动”的“三环四步法”，对审查业务进行了全面深刻的重新思考，达到了如下效果：

30人用一双“天眼”做到，365天7*24小时保证，用户每发布100w条内容中的10000条有害内容，4小时内清除其中9100条。

本篇将会着重讲解如下三个问题

一、内容审查业务的现状如何衡量

使用“三环四步法”在面对百分问题时，最重要的就是找到能够量化现状的数据指标，有了它，我们不但知道了自己的起点、目标，在尝试解决问题后，还能有效评估效果。
内容审查的业务目标是保证网站安全，实现手段是删除站内有害内容，那么漏删了多少有害内容就是直观评价，综上所述

“漏删量”，即有害内容的总体漏删量，是评价审查业务现状的唯一关键指标（下称唯关指标）。

有人说了这个道理很简单，还用你说么？确实很简单，但是如何计算出这个唯关指标？如何通过构建指标体系、明确子指标、实现目标拆解？如何找到方案优化各项子指标，最终提升唯关指标？这才是关键，这些问题第三小节会给出解答。
不过，构建指标体系前，我们得先讲下“天眼”系统的基本构成。

上一篇留了个悬念，正常的审核人员一天的极限是1w，可是我们怎么做到每人每天审核3.3w的呢？答案就是机器审核辅助。如下流程图所示：

天眼内容审核系统构成

一条帖子，首先由机器审核（后称机审），没有嫌疑的直接放过，有嫌疑的进入人工审核；人工审核（后称人审）就是审核员根据审核标准，进行删除或放过操作。

地铁旅客安检

就像地铁安检一样，先通过机器门自动扫描，有嫌疑的人会发出提示再人工安检，人工安检大部分都是放过，但是也有确实有问题的随身物品，需要拒绝。

1、什么是召回率？
召回率又称查全率，通用的解释，召回率＝检索出的相关信息量 / 系统中的相关信息总量。放到审核系统中，就是实际删除的有害内容量 / 发布内容中的有害内容总量。这个指标越高，说明有害内容消除得越干净。

2、“天眼”的指标体系
刚才说了，唯关指标是“漏删量”。

计算公式
漏删量
= 发布量S - 发布量S * 召回率R
= 发布量S * （1 - 召回率R）
= 发布量S * （1 - 机审召回率RJ * 人审召回率RR）
四大指标
漏删量、召回率、机审召回率、人审召回率
指标关联

天眼指标体系

我们为了降低“漏删量”指标，就要提升“召回率”；要提高它，就需要分别提高“机审召回率”和“人审召回率”。

3、如何收集各项指标？
明确了系统的四大关键指标及其内部关系，明眼人就能看出来，其实最关键的是拿到机审召回率 RJ，和人审召回率 RR。

机审召回率 RJ
机审判定有害中实际有害内容量 / 全部内容中实际有害内容的总量，可问题是，我们不可能知道分母是多少，因为那需要我们把用户发布的帖子全部审核一遍，这显然不现实。这时就要发挥“随机抽样”的魅力了，我们随机抽取一部分有害内容，然后看看其中被机审命中了多少，就可以了。
我们上哪里随机抽取有害内容呢？
第一，用户举报的作用就发挥出来了，我们把其中被查实的违规内容作为抽取样本，这里面既有机审判定有害的，也有机审放过的。
第二，可以让审核员在app上随机巡查找到有害内容，补充到抽样样本里。
人审召回率 RR
人审判定有害内容量 / 机审判定有害中实际有害内容量，跟上面的工作量问题和解决办法类似，“随机抽样”登场，即在机审判定有害的内容中找到实际有害内容，然后再看看一审时有多少比例被判定为有害。
召回率 R
机审召回率 RJ * 人审召回率 RR
漏删量
发布量 S * （1 - 召回率 R）

好了，指标到位。下一篇开始我们就开始演示，如何用数据指标驱动业务问题解决和产品设计。