轻松拿捏SD|Controlnet功能讲解

Part 1 lineart的原理和实操

【lineart原理】

lineart是一个专门提取线稿的模型,可以针对不同类型的图片进行不同的处理。

点击选择“Lineart”,预处理器和模型就会自动切换

点开预处理器,里面的各种模型可以识别不同图片的线稿

  1. 动漫:lineart_anime(动漫风格的线条) 或 lineart_anime_denoise(细节较少的动漫风格线条)
  2. 素描: lineart_coarse(具有较重重量的逼真风格的线条)
  3. 写实:lineart_realistic(写实风格的线条)
  4. 黑白线稿:lineart_standard

【lineart模型生成图对比】

线条艺术动漫
(lineart_anime)线条艺术动漫降噪
(lineart_anime_denoise)线条艺术逼真
(lineart_realistic)线条艺术粗糙
(lineart_coarse)

【lineart作用】

它的应用场景主要有

  1. 01提取动漫的线稿,再重新上色
  2. 02给素描图片上色
  3. 03上传自己的照片,提取出线稿,然后生成自己的二次元头像
  4. 04给黑白线稿上色

【lineart的具体实操】

【实操部分】

controlnet的模型选择:

预处理器:lineart_anime 或 lineart_anime_denoise 模型:lineart

【引导图】

【Lineart预处理器效果展示】

Lineart预处理器选择原图预处理图最后成图anime

anime-denoise

coarse

realistic

standard

Invert

Colorful dahlia and cynicism flowers on white background. Flat lay, top view.

none

/

【处理时的注意点】

首先处理动漫照片记得要换二次元的大模型

然后关键词可以写一些质量词,然后描述一下照片里面有什么东西

另外需要注意的是,图片的分辨率大小要设置的和原先的比例一样不然照片会自动裁剪放大

【简单小结】

lineart是一个专门提取线稿的模型,在实际使用时:

  1. 如果是动漫图片呢,预处理器模型则选择anime或anime_denoise,相对来说,anime_denoise比anime细节更多一点;
  2. 如果是素描图片,则建议使用coarse,它从图片中粗略提取线稿图,忽略不突出的细节,生图时自由度更高;
  3. 写实图片呢,建议选择realistic;
  4. 黑白线稿呢,则可以选择standard;
  5. 颜色反转、反色图片,则适合从白色背景、黑色线条的图片中提取线稿图;
  6. 不使用预处理器,需要直接上传一张处理好白线黑景线稿图

part2 softedge的原理和使用

【基础原理】

相比lineart呢,softedge只能识别图片大概的轮廓细节,线条比较柔和,这样给SD发挥的空间就比较大

【实操部分】

controlnet的模型选择

预处理器:softedge_pidient 模型:softedge

【引导图】


【简单小结】


Softedge也是一个专门提取线稿的模型,与之前线稿模型的不同之处在于:

  1. canny是基于精细的边缘检测,准确还原图片的结构和特征,提取的边缘图中的线条是没有粗细、深浅之分的;
  2. 而Lineart的线条有粗细深浅的区别,相比Canny,除了能够控制构图,还可以更好的还原图片深度;
  3. 同样相比Canny、Lineart呢,SoftEdge除了稳定构图,更好的图片深度控制,还拥有了更多的自由度。
    简单来说,Canny更注重于细节,Softedge更偏向框架,而lineart呢,则介于两者之间。

part3 Tile的原理和使用

【基础介绍】

其核心功能是补全细节,具体一点就是忽略原始图片中不好的细节,然后补充新的细节,提高图片的质量。

【具体实操】

controlnet的模型选择

预处理器:tile-resample 模型:tile

比如我们想补全一张模糊图片的细节。

原图tile预处理后图

或者是用tile+定向提示词来微调细节

原图tile+提示词)预处理后图

这个功能图生图也可以实现,区别在于图生图更改细节的同时,也会变更主体,而tile主体则不变

tile的第三个功能呢,就是放大图片

有了这个功能,如果你显卡不是很高级,那么可以选择在文生图的时候不开高清放大,直接将文生图产生的图片批量导入图生图中批量处理,这样不仅生成的图片很惊艳而且会提高很多效率,尤其是AI图片不要求特定细节的时候,用这个功能简直爽爆了,对低显存用户非常友好。

原图tile预处理后图

这个放大功能也可以通过extra-scale实现

【简单小结】

Tile的核心功能是补全细节,具体一点就是忽略原始图片中不好的细节,然后补充新的细节,提高图片的质量。

  1. 实际使用中,它可以修饰模糊、细节损害的图片;
  2. 也用tile+定向提示词来微调细节;
  3. 最后呢,就是放大图片啦。

另外用tile模型的时候,可以自主选择,mode的输出模式有均衡、更注重提示词、更倾向于controlnet的自由发挥。麦克多娜ai自制。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351

推荐阅读更多精彩内容