使用分水岭法分割图像

何为分水岭法?

传统的分水岭分割方法,是一种基于拓扑理论的数学形态学的分割方法,其基本思想是把图像看作是测地学上的拓扑地貌,图像中每一像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆地,而集水盆地的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面,刺穿一个小孔,然后把整个模型慢慢浸人水中,随着浸入的加深,每一个局部极小值的影响域慢慢向外扩展,在两个集水盆汇合处构筑大坝如下图所示,即形成分水岭。如图所示:


image.png

然而基于梯度图像的直接分水岭算法容易导致图像的过分割,产生这一现象的原因主要是由于输入的图像存在过多的极小区域而产生许多小的集水盆地,从而导致分割后的图像不能将图像中有意义的区域表示出来。所以必须对分割结果的相似区域进行合并。

因为传统分水岭算法存在过分割的不足,OpenCV提供了一种改进的分水岭算法,使用一系列预定义标记来引导图像分割的定义方式。使用OpenCV的分水岭算法cv::wathershed,需要输入一个标记图像,图像的像素值为32位有符号正数(CV_32S类型),每个非零像素代表一个标签。它的原理是对图像中部分像素做标记,表明它的所属区域是已知的。分水岭算法可以根据这个初始标签确定其他像素所属的区域。传统的基于梯度的分水岭算法和改进后基于标记的分水岭算法示意图。如下图所示:


image.png

从上图可以看出,传统基于梯度的分水岭算法由于局部最小值过多造成分割后的分水岭较多。而基于标记的分水岭算法,水淹过程从预先定义好的标记图像(像素)开始,较好的克服了过度分割的不足。本质上讲,基于标记点的改进算法是利用先验知识来帮助分割的一种方法。因此,改进算法的关键在于如何获得准确的标记图像,即如何将前景物体与背景准确的标记出来。

主要API:
// 分水岭算法
// 参数说明:
// image —— 输入图像矩阵,要求是8位无符号3通道彩色图像。
// markers —— 在执行分水岭函数watershed之前,必须对第二个参数markers进行处理,它应该包含不同区域的轮廓,每个轮廓有一个自己唯一的编号,轮廓的定位可以通过Opencv中findContours方法实现,这个是执行分水岭之前的要求。
void watershed( InputArray image, InputOutputArray markers );

接下来执行分水岭会发生什么呢?算法会根据markers传入的轮廓作为种子(也就是所谓的注水点),对图像上其他的像素点根据分水岭算法规则进行判断,并对每个像素点的区域归属进行划定,直到处理完图像上所有像素点。而区域与区域之间的分界处的值被置为“-1”,以做区分。

简单概括一下就是说第二个入参markers必须包含了种子点信息。Opencv官方例程中使用鼠标划线标记,其实就是在定义种子,只不过需要手动操作,而使用findContours可以自动标记种子点。而分水岭方法完成之后并不会直接生成分割后的图像,还需要进一步的显示处理,如此看来,只有两个参数的watershed其实并不简单。

使用方法:

分水岭法被用来分割图像,分割结果基于markers的标记指导。对markers的标记方法,在日常工作中,根据实际需要,有以下方法:

基于轮廓提取的标记法:

相关步骤包括:

  1. 将图像转换为单通道灰度图。
  2. 执行模糊滤波,减小细小的边缘。
  3. 使用Canny算法或其它梯度算子,求取二值边缘图像。
  4. 视情况决定是否执行形态学操作。
  5. 对二值边缘图像提取轮廓。
  6. 根据轮廓,制作标记掩模。
  7. 执行分水岭过程调用。
  8. 提取分割结果。

下面举一个例子,边看代码边看执行结果。

// 使用轮廓标记法,执行分水岭算法
{
    cv::Mat matImg = cv::imread("space_shuttle.jpg");

    // 边缘检测
    cv::Mat matImgGray;
    cv::cvtColor(matImg, matImgGray, cv::COLOR_BGR2GRAY);
    cv::GaussianBlur(matImgGray, matImgGray, cv::Size(7, 7), 0);
    cv::Mat matCanny;
    cv::Canny(matImgGray, matCanny, 100, 200);

    // 根据边缘找轮廓
    std::vector<std::vector<cv::Point> > contours;
    std::vector<cv::Vec4i> hierarchy;
    cv::findContours(matCanny, contours, hierarchy, cv::RETR_TREE, cv::CHAIN_APPROX_SIMPLE);

    // 对轮廓进行标记
    cv::Mat matMarks(matImg.size(), CV_32SC1, cv::Scalar(0));
    for (int i = 0; i < contours.size(); ++i)
    {
        cv::drawContours(matMarks, contours, i, cv::Scalar(i + 1), 1, 8, hierarchy);
    }

    // 分水岭区域标记
    cv::watershed(matImg, matMarks);

    // 对分水岭区域标记结果按分块颜色显示
    cv::Mat matCuts(matImg.size(), matImg.type(), cv::Scalar(0, 0, 0));

    for (int y = 0; y < matMarks.rows; ++y)
    {
        for (int x = 0; x < matMarks.cols; ++x)
        {
            int nMarkVal = matMarks.at<int>(y, x);

            // 轮廓区域
            if (nMarkVal == -1)
            {
                matCuts.at<cv::Vec3b>(y, x) = cv::Vec3b(255, 255, 255);
            }
            // 标记区域
            else
            {
                matCuts.at<cv::Vec3b>(y, x) = randomColor(nMarkVal);
            }
        }
    }
}

上面的randomColor(int)函数定义为:

// 根据标记值生成随机颜色
cv::Vec3b randomColor(int n)
{
    static std::map<int, cv::Vec3b> mapNcolor;

    auto iter = mapNcolor.find(n);
    if (iter != mapNcolor.end())
        return iter->second;

    cv::RNG rng(n);
    int B = rng.uniform(1, 256);
    int G = rng.uniform(1, 256);
    int R = rng.uniform(1, 256);

    cv::Vec3b color(B, G, R);

    mapNcolor[n] = color;
    return color;
}

首先加载图像,还是那架航天飞机:


image.png

然后使用Canny算法提取边缘,为了提取较少的边缘,上面代码使用了7x7的高斯算子,同时抬高了Canny边缘检测的高低阀值。提取到的边缘为:


image.png

大家可以尝试改变算子尺寸和Canny的阀值试试其他效果。

接下来使用cv::findContours()函数寻找轮廓,并对轮廓进行标记。注意标记区域必须大于1,所有为0的像素将被视为未知区域,分水岭将进行注水识别。标记掩模图如下:


image.png

看起来与边缘图没有差别,这是由于掩模图格式是32位整数,我们放大其中某个细节看标记情况:


image.png

继续执行分水岭注水操作,完成对所有未知区域的标记。注水标记图如下:


image.png

图中的黑色部分为-1,既原来的掩模标记,而掩模中的0未知区域都被成功标记,放大细节:


image.png

最后是对结果上色,便于查看结果,也可以根据需要,裁出指定部分的分块图。上色结果如下:


image.png
基于前景背景的标记法:

相关步骤包括:

  1. 将图像转换为单通道灰度图。
  2. 二值化提取前景和背景。
  3. 视情况决定是否执行形态学操作。
  4. 求取前景的骨架图质心图。
  5. 对骨架质心图求取连通域标注。
  6. 执行分水岭过程调用。
  7. 提取分割结果。

举例代码如下:

// 使用连通域标记法,执行分水岭算法
{
    cv::Mat matImg = cv::imread("image31.png");

    cv::Mat matImgGray;
    cv::cvtColor(matImg, matImgGray, cv::COLOR_BGR2GRAY);

    // 提取暗像素做为前景
    cv::Mat matFg;
    cv::threshold(matImgGray, matFg, 30, 255, cv::THRESH_BINARY_INV);

    // 形态学操作,适当放大前景
    cv::Mat matKernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Size(3, 3));
    cv::morphologyEx(matFg, matFg, cv::MORPH_CLOSE, matKernel, cv::Point(-1, -1), 3);
    cv::dilate(matFg, matFg, matKernel, cv::Point(-1, -1), 3);

    // 求取前景骨架二值图像
    cv::Mat matDistance;
    cv::distanceTransform(matFg, matDistance, cv::DIST_L2, cv::DIST_MASK_5);
    cv::Mat matDistance2;
    cv::normalize(matDistance, matDistance2, 0, 1.0, cv::NORM_MINMAX);
    cv::Mat matFg2;
    double fMax = 0.0;
    cv::minMaxLoc(matDistance, NULL, &fMax);
    cv::threshold(matDistance, matFg2, fMax * 0.4, 255, cv::THRESH_BINARY);
    matFg2.convertTo(matFg2, CV_8UC1);

    // 基于前景骨架二值图像求连通域标注
    cv::Mat matMarks;
    cv::connectedComponents(matFg2, matMarks);

    // 执行分水岭算法
    cv::watershed(matImg, matMarks);

    // 对分水岭区域标记结果按分块颜色显示
    cv::Mat matCuts(matImg.size(), matImg.type(), cv::Scalar(0, 0, 0));

    for (int y = 0; y < matMarks.rows; ++y)
    {
        for (int x = 0; x < matMarks.cols; ++x)
        {
            int nMarkVal = matMarks.at<int>(y, x);

            // 轮廓区域
            if (nMarkVal == -1)
            {
                matCuts.at<cv::Vec3b>(y, x) = cv::Vec3b(255, 255, 255);
            }
            // 标记区域
            else
            {
                matCuts.at<cv::Vec3b>(y, x) = randomColor(nMarkVal);
            }
        }
    }
}

首先还是加载图像,由于航天飞机从灰度值上不太好切分,换个图吧:


image.png

由于无人机偏暗,提取暗像素,并执行反转二值化,提取无人机:


image.png

执行形态学操作,包括除空洞、膨胀,适大放大前景,效果如下:


image.png

然后求取骨架,可作为注水的种子区域,效果如下:


image.png

image.png

然后是计算连通域,打上标注,并执行分水岭操作,填色结果如下:


image.png
另一种基于前景背景的标记法:

与前一种方法的差别在于不是求取前景质心做为种子,而是求取前景和背景的中心过滤区域做为未知区域,交给分水岭识别。

相关步骤包括:

  1. 将图像转换为单通道灰度图。
  2. 二值化提取前景和背景。
  3. 视情况决定是否执行形态学操作。
  4. 生成含有未知区域的掩模,确保掩模打标。
  5. 执行分水岭过程调用。
  6. 提取分割结果。

举例代码如下:

// 使用前景背景标记法,执行分水岭算法
{
    cv::Mat matImg = cv::imread("image31.png");

    cv::Mat matImgGray;
    cv::cvtColor(matImg, matImgGray, cv::COLOR_BGR2GRAY);

    // 提取暗像素做为前景
    cv::Mat matFg;
    cv::threshold(matImgGray, matFg, 30, 255, cv::THRESH_BINARY_INV);

    // 对前景执行闭运算,消除小的空洞
    cv::Mat matKernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Size(5, 5));
    cv::morphologyEx(matFg, matFg, cv::MORPH_CLOSE, matKernel);

    // 对前景执行膨胀操作,反向阀值操作扣出背景
    cv::Mat matBg;
    cv::dilate(matFg, matBg, matKernel, cv::Point(-1, -1), 2);
    cv::threshold(matBg, matBg, 1, 128, cv::THRESH_BINARY_INV);

    // 生成标记掩模
    cv::Mat matMarks = matFg + matBg;
    matMarks.convertTo(matMarks, CV_32SC1);

    // 执行分水岭算法
    cv::watershed(matImg, matMarks);

    // 从分水岭标记中提取前景掩模
    matMarks.convertTo(matMarks, CV_8UC1);
    cv::threshold(matMarks, matMarks, 250, 1, cv::THRESH_BINARY);

    // 根据掩模扣取图像
    cv::Mat matImg2;
    matImg.copyTo(matImg2, matMarks);
}

还是加载无人机图。

求取的前景:


image.png

求取的背景:


image.png

标记掩模:


image.png

分水岭标记:


image.png

最后扣取的图像:


image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容