上次搞的暗通道去雾的算法交给老师就算是交差了,当时也就是个调研而已。前几天又被老师叫过去说还是需要720p(1280*720)图像的实时处理,看能不能再做一些优化,让我和一个职工商量着来,于是又看了两天的去雾。还是有一些进展,总结一下。
回顾
还是可以回顾一下暗通道去雾的流程,在这里,其中这个模型是最重要的:
在这个模型中,要获得的只有两个,一个是透射率图t(x),一个是大气光值A,大气光值的获得方法很多,包括暗通道去雾中找最亮的0.5%的最低值,或者是有一个四叉树寻找的方法:对比度暗通道去雾,这片文章可以看做是对何凯明暗通道去雾的一个扩展,对天空具有比较好的免疫性。作者说效果不错,好不容易调通给的代码发现效果一般,而且算法比暗通道去雾还复杂一些,再就没有细看。
透射率这里,何提出的导向滤波是不错的,效果也还可以,但是实测下来还是这部分花费了大部分时间,后来使用了先下采样然后导向滤波之后再插值的快速算法,速度上还是有瓶颈。
如果在这个去雾模型上要有所改进的话,就只能是对透射率图这里改进了。
改进
查资料的过程中发现一篇文章:一种可实时处理的图像去雾算法的实现,文中给出了算法的详细步骤:
但说实话这个图里面的公式写的不太严谨,比如5式中的Mav应该是要进行归一化的,其他的地方倒还容易理解,特别是5式这个透射率的求法简直不要太简洁啊,看了博客中作者给出的效果图以及后面作者给的程序进行测试,发现效果还是不错的,而且从算法复杂度上来看,是要比原始的暗通道去雾有些优势的,最起码没有麻烦的导向滤波(导向滤波里有大量的求均值和滤波操作)。
然后就开始写代码,先用python写了一个版本,很快就写完了,测试下来是要比暗通道去雾快一些,按照C++版本应该比python版本提高近一倍的效率来说,是差不多可以到实时了,于是就动手写了。
这还是上周四的事情,周四晚上打球把脚崴了,周五肿了很大,自然是下不了楼就窝在宿舍里写程序,虽然说OpenCv已经提供了大量的API,写起来还是没有python顺手,主要是数据类型的转换。
比如说如果要做除法的话肯定是要把数据转换成float的,不能用uchar来做,因为当时用的指针来写的min_BGR函数,如果要换乘float的话,这里面的指针也都得改,用uchar类型的指针来访问float的话肯定是要崩溃的。诸如此类的问题吧。
大概到晚上吃饭的时候就已经完全调通了,中间出了一个莫名其妙的问题卡了很久,贴在下面:
vector<Mat> Img_split_dehaze;
//Mat div_tmp;
for (int i = 0; i < 3; i++)
{
/*cv::divide(Fenzi[i], fenmu, div_tmp);
cout<<div_tmp;
Img_split_dehaze.push_back(div_tmp);*/
//一开始是注释的这里错了,从最前面一点一点检查才发现,不过不知道哪里有问题,改成new对象就可以了,神奇!
Mat *tmp = new Mat;
cv::divide(Fenzi[i], fenmu, *tmp);
Img_split_dehaze.push_back(*tmp);
delete tmp;
}
我一开始使用的注释掉的那一部分来做这个除法,然后储存到vector<Mat>
里,然后三次push_back进去的竟然是同一个东西,导致我最后merge的图像就是灰度图,一开始怎么着也没发现这里有错误(现在也不知道为什么错了,我在循环里cout出来分明是不一样的)。
后来对照着python里的结果一点点检查才发现时这里的错误,浪费了很长的时间,不知道怎么处理就用new一个对象来做,就没有问题了。
i5_7500cpu上大概可以跑打25fps了,笔记本上要慢2/5差不多。
算法的实现就差不多是这样了,遍历像素我还是用的at运算符来做,毕竟最合乎习惯,而且release模式下速度损失不大。
优化
图像算法层面的优化就没有什么了,基本上不存在可以优化的地方,但是还是有一些地方可以进行优化。主要做了有两点。
式5求min(Mat1,Mat2)
一开始使用了vector<Mat>
把两个式子merge到一张二通道的图里,然后再调用函数MIN_BRG_32F()
(自己写的)来做这个工作,我觉得vector的创建以及调用merge可能还是花费了一些时间,于是直接来做,于是变成了:
M_minfilter_32f = M_minfilter_32f*m;
int rows = M_minfilter_32f.rows;
int cols = M_minfilter_32f.cols;
Mat res = Mat::zeros(Size(cols,rows), CV_32FC1);
for (int i = 0; i < rows; i++)
{
for (int j = 0; j < cols; j++)
{
res.at<float>(i, j) = std::min(M_minfilter_32f.at<float>(i,j), M_min_32f.at<float>(i, j));
}
}
速度大概提升了10%吧。
式7用查表法来做
这个改进是实质性的,这也是受了那篇博客中作者想法的启发,用查表来做,可以用查表法来做的基础是:所有对应的操作都是点对点的操作,而且H和L都是[0-255]
的uchar
类型,另外还有一个参数A,是一个独立的大气光值,也是0-255的,所以我们可以做一个二维的查找表,一维是H的取值,一维是L的取值。这样的话就不用多次调用除法,只需要根据A来建立一个256*256
大小的查找表就可以了。
查找表的建立: 我直接使用vector来做,索引起来也非常容易。
vector<vector<uchar>> Function7_table(const float &A)
{
vector<vector<uchar>> Table = vector<vector<uchar>>(256, vector<uchar>(256, 0));
//cout << Table.size() << endl;
double Value=0;
for (int Y = 0; Y < 256; Y++)
{
for (int X = 0; X < 256; X++)
{
Value = (Y - X) / (1 - X/A); //function_7
if (Value > 255)
Value = 255;
else if (Value < 0)
Value = 0;
Table[Y][X] = Value;
//printf("%d\t", Table[Y][X]); 这是个大坑,cout输出uchar的时候是按照ascii码输出的,一开始还以为不对
}
}
return Table;
}
索引的时候非常方便,对于一个H(x)和L(x)的元素来说,只需要按照对应的位置来查找这个表就可以了:
vector<vector<uchar>> Table;
Table = Function7_table(A);
Mat ImgDefog = Img.clone();
int row_Num = ImgDark_32f.rows;
int col_Num = ImgDark_32f.cols;
//获得行列
for (int i = 0; i < row_Num; i++)
{
for (int j = 0; j < col_Num; j++)
{
ImgDefog.at<Vec3b>(i, j)[0] = Table[Img.at<Vec3b>(i, j)[0]][int(Lx.at<float>(i, j))];
ImgDefog.at<Vec3b>(i, j)[1] = Table[Img.at<Vec3b>(i, j)[1]][int(Lx.at<float>(i, j))];
ImgDefog.at<Vec3b>(i, j)[2] = Table[Img.at<Vec3b>(i, j)[2]][int(Lx.at<float>(i, j))];
//处理三个通道
}
}
经过测试,速度有40%左右的提升,这样的话实时应该是很轻松的就可以达到了,查表果然是个好东西。
附一张效果图:效果还可以。
代码:FastDefog
我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=25kceejka15ww