利用densecrf对分割结果进行后处理

利用densecrf进行分割结果的处理,可以对边缘起到一定的平滑作用,如果对网络实时性没有要求的话,加上crf处理会让结果好看很多.
工具: numpy, pydensecrf

pydensecrf安装

貌似直接pip安装容易报错,最好是从github上clone代码并且安装:

pip install git+https://github.com/lucasb-eyer/pydensecrf.git

利用densecrf进行分割结果的后处理

首先需要一个分割网络输出的prob_map, 如果是二分类的话,可以是sigmoid之后的score map, 多分类则需要经过softmax处理.(直接处理hard label也是可以的,不过效果应该不如处理score map更好).

• 导入所需模块

import numpy as np
import pydensecrf.densecrf as dcrf

• 设置unary potential, 这里我们仅进行前背景分类

# sigm_score: 经过sigmoid的score map, size=[H, W]
# 需要特别注意,这里先w后h
d = densecrf.DenseCRF2D(w, h, 2)  # 2 classes, width first then height
U = np.expand_dims(-np.log(sigm_score), axis=0)  # [1, H, W], foreground
U_ = np.expand_dims(-np.log(1 - sigm_score), axis=0)  # [1, H, W], background
unary = np.concatenate((U_, U), axis=0)
unary = unary.reshape((2, -1))  # flatten, [2, HW], define unary
d.setUnaryEnergy(unary)   # add unary

• 设置pairwise potential

d.addPairwiseGaussian(sxy=3, compat=3)
d.addPairwiseBilateral(sxy=20, srgb=3, rgbim=rgb_img, compat=10)  # pairwise energy

• 进行inference

Q = d.inference(5)  # inference 5 times
pred_raw_dcrf = np.argmax(Q, axis=0).reshape((h, w)).astype(np.float32)

这里得到的pred_raw_dcrf就是最终预测的label_map.

可能的坑

1. 输入的unity一定要是非正数，否则会得到很诡异的结果。

2. 当进行多类分割时，score map的channel数太多时，可能出现优化后和优化前完全一样的情况。这种情况下，inference的次数应该设高一些。但是不是越高越好，一方面会慢，另一方面inference次数太高可能性能会下降。