1. 基本概念

  概念：一般来说，NER的标注列表为['O' ,'B-MISC', 'I-MISC', 'B-ORG' ,'I-ORG', 'B-PER' ,'I-PER', 'B-LOC' ,'I-LOC']。其中，一般一共分为四大类：PER（人名），LOC（位置），ORG（组织）以及MISC，而且B表示开始，I表示中间，O表示单字词。
  评估指标：一般看Acc、Precision、Recall、F1值和ROC、AUC。但是由于在很多场景中，'O'的这个label出现次数是最多的，所以光看Acc肯定是没用的咯！
  CRF学到的constrains：
    1. 句子首个单词接下来的不是“B-“ 就是 “O”, 而非 “I-“
    2. “B-label1 I-label2 I-label3 I-…”中的label1, label2, label3 … 应该是相同的实体标签。
    3. 等等很多标签的搭配问题。

2. 数据清洗

  1. 控制句子长度，100左右吧。
  2. 符号清理。
  3. 舍去全是‘O’的标注句子。
  4. 如果对数字识别不做要求，干脆转换成0进行识别，做成统一符号。

3. 模型

  当前来讲，主流的有两种：一种是BiLSTM+CRF的；另一种是BERT直接预测的。当然，对于BERT模型来说，在其上层也是可以再加CRF进行限制一下的。不过本人还没进行实战的试验，后续把结果整理整理。

4. 评估指标代码

  对于评估的指标，上面已经说到是Acc、Precision、Recall和F1值。但是对于多个分类时，理论上要一个类别一个类别地去计算对应的Acc、Precision、Recall和F1值。其中需要了解的理论是混淆矩阵（confusion matrix）的概念，如下所示：

confusion matrix.png

如有150个样本数据，这些数据分成3类，每类50个。分类结束后得到的混淆矩阵为上图所示。第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第二行第一列的2表示有2个实际归属为第二类的实例被错误预测为第一类。
  所以通过混淆矩阵来得到各个评估指标，拿precision这个指标来举例，其他的同理：

from tensorflow.python.ops.metrics_impl import _streaming_confusion_matrix

def precision(labels,
              predictions, 
              num_classes, 
              pos_indices=None,    ## 这里表示要计算指标的label对应的index
              weights=None, 
              average='micro'):
    cm, op = _streaming_confusion_matrix(labels, predictions, num_classes, weights)
    pr, _, _ = metrics_from_confusion_matrix(cm, pos_indices, average=average)
    op, _, _ = metrics_from_confusion_matrix(op, pos_indices, average=average)
    return (pr, op) 

def metrics_from_confusion_matrix(cm, pos_indices=None, average='micro', beta=1):
    num_classes = cm.shape[0]
    if pos_indices is None:
        pos_indices = [i for i in range(num_classes)]

    if average == 'micro':
        return pr_re_fbeta(cm, pos_indices, beta)

    elif average in {'macro', 'weighted'}:
        precisions, recalls, fbetas, n_golds = [], [], [], []
        for idx in pos_indices:
            pr, re, fbeta = pr_re_fbeta(cm, [idx], beta)
            precisions.append(pr)
            recalls.append(re)
            fbetas.append(fbeta)
            cm_mask = np.zeros([num_classes, num_classes])
            cm_mask[idx, :] = 1
            n_golds.append(tf.to_float(tf.reduce_sum(cm * cm_mask)))

        if average == 'macro':
            pr = tf.reduce_mean(precisions)
            re = tf.reduce_mean(recalls)
            fbeta = tf.reduce_mean(fbetas)
            return pr, re, fbeta

        if average == 'weighted':
            n_gold = tf.reduce_sum(n_golds)
            pr_sum = sum(p * n for p, n in zip(precisions, n_golds))
            pr = safe_div(pr_sum, n_gold)
            re_sum = sum(r * n for r, n in zip(recalls, n_golds))
            re = safe_div(re_sum, n_gold)
            fbeta_sum = sum(f * n for f, n in zip(fbetas, n_golds))
            fbeta = safe_div(fbeta_sum, n_gold)
            return pr, re, fbeta

    else:
        raise NotImplementedError()

##TODO: 这里是对单个类别计算指标的核心代码
def pr_re_fbeta(cm, pos_indices, beta=1):  # for example: pos_indices= [2]
    """Uses a confusion matrix to compute precision, recall and fbeta"""
    num_classes = cm.shape[0]
    neg_indices = [i for i in range(num_classes) if i not in pos_indices]
    cm_mask = np.ones([num_classes, num_classes])
    cm_mask[neg_indices, neg_indices] = 0
    diag_sum = tf.reduce_sum(tf.diag_part(cm * cm_mask))

    cm_mask = np.ones([num_classes, num_classes])
    cm_mask[:, neg_indices] = 0
    tot_pred = tf.reduce_sum(cm * cm_mask)

    cm_mask = np.ones([num_classes, num_classes])
    cm_mask[neg_indices, :] = 0
    tot_gold = tf.reduce_sum(cm * cm_mask)

    pr = safe_div(diag_sum, tot_pred)
    re = safe_div(diag_sum, tot_gold)
    fbeta = safe_div((1. + beta ** 2) * pr * re, beta ** 2 * pr + re)

    return pr, re, fbeta

def safe_div(numerator, denominator):
    """Safe division, return 0 if denominator is 0"""
    numerator, denominator = tf.to_float(numerator), tf.to_float(denominator)
    zeros = tf.zeros_like(numerator, dtype=numerator.dtype)
    denominator_is_zero = tf.equal(denominator, zeros)
    return tf.where(denominator_is_zero, zeros, numerator / denominator)

5. 对ROC的理解

  先结合下图二分类的混淆矩阵，阐述一下含义：

混淆矩阵.png

 这里的T表示真实和预测完全匹配了；而F表示真实和预测的不匹配了。而且，第一列用P表示预测为正，第二列用N表示预测为负。
 对于ROC曲线，是通过TPR和FPR这两个指标来衡量综合得到的：
      TPR=TP/(TP+FN)：表示预测为正实际为正的占总正样本的比例。
      FPR=FP/(FP+TN)：表示预测为正实际为负的占总负样本的比例。
 则在ROC曲线中，横坐标是FPR，纵坐标是TPR

ROC.png

 理解以上图，需要结合二分类中的阈值来阐述：当分类阈值变大时候，预测为正类的样本会减少，那么带来TP、FP这两个都是预测为正的指标也变小，所以最后TPR=0，FPR=0；当分类阈值变小时候，预测为正类的样本会增加，那么带来TP、FP这两个都是预测为正的指标也变大，所以最后TPR=1，FPR=1。
 所以最终会有图上两个极端的点（0，0）和（1，1），那么对于（0，1）这个点来说，表示的是TP=1、FP=0的情况，这是分类模型想要达到的最为理想的情况。所以如果ROC曲线上的某一点距离理想点（0，1）最近，那么就是设定分类模型中阈值最合适的点。

  ROC的作用很大，不仅以上说的可以调节出最优的分类阈值，还可以解决类别不平衡现象。一个类别的样本数量增加很多倍时，ROC曲线基本是保持不变的。

5. 对AUC的理解

  AUC (Area Under Curve) 被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。而它的作用是：使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

参考文献：
通俗理解BiLSTM-CRF命名实体识别模型中的CRF
机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率