利用densecrf进行分割结果的处理,可以对边缘起到一定的平滑作用,如果对网络实时性没有要求的话,加上crf处理会让结果好看很多.
工具: numpy, pydensecrf
pydensecrf安装
貌似直接pip安装容易报错,最好是从github上clone代码并且安装:
pip install git+https://github.com/lucasb-eyer/pydensecrf.git
利用densecrf进行分割结果的后处理
首先需要一个分割网络输出的prob_map, 如果是二分类的话,可以是sigmoid之后的score map, 多分类则需要经过softmax处理.(直接处理hard label也是可以的,不过效果应该不如处理score map更好).
- 导入所需模块
import numpy as np
import pydensecrf.densecrf as dcrf
- 设置unary potential, 这里我们仅进行前背景分类
# sigm_score: 经过sigmoid的score map, size=[H, W]
# 需要特别注意,这里先w后h
d = densecrf.DenseCRF2D(w, h, 2) # 2 classes, width first then height
U = np.expand_dims(-np.log(sigm_score), axis=0) # [1, H, W], foreground
U_ = np.expand_dims(-np.log(1 - sigm_score), axis=0) # [1, H, W], background
unary = np.concatenate((U_, U), axis=0)
unary = unary.reshape((2, -1)) # flatten, [2, HW], define unary
d.setUnaryEnergy(unary) # add unary
- 设置pairwise potential
d.addPairwiseGaussian(sxy=3, compat=3)
d.addPairwiseBilateral(sxy=20, srgb=3, rgbim=rgb_img, compat=10) # pairwise energy
- 进行inference
Q = d.inference(5) # inference 5 times
pred_raw_dcrf = np.argmax(Q, axis=0).reshape((h, w)).astype(np.float32)
这里得到的pred_raw_dcrf就是最终预测的label_map.
可能的坑
输入的unity一定要是非正数，否则会得到很诡异的结果。
当进行多类分割时，score map的channel数太多时，可能出现优化后和优化前完全一样的情况。这种情况下，inference的次数应该设高一些。但是不是越高越好，一方面会慢，另一方面inference次数太高可能性能会下降。
