一、图像分割任务介绍
定义:通过对像素点分类,把图像分成若干个具有独特性质的区域并提取感兴趣目标的技术,是图像处理到图像分析的主要步骤。
难点:
*标准难度大,成本高,数据量少
*显存和算力要求高
*边缘部分区分难度大
二、图像分割解决方案之深度学习方法
图像分类到语义分割:FCN
U-Net(轻量级模型,参数少,计算快)、
DeepLab(PASCAL VOC SOTA效果,支持多种Backbone特征提取)、
ICNet(实时轻量化语义分割,适用于高性能预测场景)
实例分割、全景分割
三、评级指标
准确率、召回率 、IOU
Kappa系数:用于一致性检验/衡量分类精度,计算基于混淆矩阵。
四、一个好的分割网络需要考虑的点
上采样:反卷积
底层特征融合:跳跃连接(以一定比例引入底层特征,增加其决策权,可加可乘)
感受野:空洞卷积(增大卷积核的“可触达”区域增加感受野)
多尺度:ASPP(把不同尺度目标交给不同感受野的卷积层来解决,大感受野解决大目标,小感受野解决小目标)
算力及显存:Depthwise卷积(对卷积层分组,减少计算压力)
五、丰富的数据扩充
旋转、Crop、颜色空间扰动、模糊比例控制