open pose——动作姿势、depth——深度、canny——边缘检测、soft edge——柔和边缘、scribble——涂鸦
1、open pose(动作姿势)
我们大部分时候绘画是以人物为主体,而open pose是最直接对人物造成影响的,即人物的姿势。
上一篇文章,我们已经详细的说明了open pose的应用,相信open pose对大家已经没有太大的难度,但open pose也有着几种不同的模式。
open pose只检测人物的整体姿势。而open pose hand就可以检测到手指的骨骼图。
open pose face是在检测姿势的同时,检测面部特征,控制图片生成的面部表情。
Faceonly则是只检测面部特征,在大头照的生成上有比较好的效果。
open pose full则是检测以上所有的部分,但是生成时间会慢一些。
通过这几种模型,我们就能对图片中的人物动作、姿势做到精细的控制。
2、depth(深度)
depth的主要应用是对场景的描绘还原,尤其是具备空间感的多层次场景。
比如随便选择一个场景或者建筑的图片,选择一个depth的模型,会出现黑白图片。颜色代表深度,越黑离得越远。对生成具备层次感的图片效果很好。
depth有四种模型,优先可以使用++,但是这个模型比较耗费内存,配置有限的话可以启用低显存模式,或者其他不带+的模型。
Depth除了可以检测场景、建筑的层次,还可以检测人物的肢体交替、人体透视的场景。
3、canny(边缘检测)
canny主要功能是提取出图像里的边缘特征,然后输送到新的图像中。
canny只有一种模型,不像open pose和depth有多种模型。
canny对于外形的特征识别对于物体的还原非常有用,比如一辆车,一只狗的还原就会非常相像等等。
包括有些图片中如果存在字体和重要的线条,这些需要被还原的话,canny就能起到很好的效果。
一个小技巧:如果线条不清晰的话,可以通过降低明暗度去提高识别。
此外,canny重要的功能之一就是线稿上色。把画好的线稿上传入canny,通过提示词的描述,就可以快速的给图片上色。
小技巧:因为线稿一般是白底黑线,canny识别就会多一个步骤,上色的图片就会显得粗糙。可以使用invert模型的反转功能先把黑白调换,再进行上色,图片就会更加清晰了。
4、soft edge(柔和边缘)
soft edge和canny的功能比较类似,也是识别图像的边缘特征,但是soft edge和canny的区别就是提取图像的边缘时会更加模糊,即减轻对图片施加的控制。
我们可以这样理解,当canny对于图片的控制过于约束时,就可以尝试一下soft edge给AI更多的自由度。
soft edge只保留大的轮廓,对于内部给予更大的发挥空间,此外,canny对于背景的线条检测不到就不会控制,而soft edge就可以做到。
soft edge的模型只有四个,had比pidinet的质量高,带safe的版本就是精简版本。所以我们追求精细度就使用质量好的,想要随机度高就使用质量低的。
同时也要考虑电脑的配置,质量越高时间越长,我们根据具体情况选择使用。
5、scribble(涂鸦)
scribble就是乱涂乱画的意思。我们先输入一张图片,可以看到scribble检测出的图像比soft edge更加自由。
我们用scribble去生成图像,有时会发生很多好玩的图片。
比如上图,如果我们对提示词进行约束,依然使用city,blue sky等提示词,那么生成的图片就会和原图保持相似。
如果我们加入一些其他的元素,比如:science fiction, cyberpunk, the future,
就会生成一个科幻的都市。
scribble还有更有趣的地方,像前面讲述涂鸦蒙版的时候,我们也可以使用scribble进行涂鸦的生成。大家感兴趣可以尝试一下,相信会有意想不到的收获。
到这里为止,我们就学习了ControINet中五种重要的模型。
open pose——动作姿势、depth——深度、canny——边缘检测、soft edge——柔和边缘、scribble——涂鸦
你觉得哪种模型是最好用的呢?可以在评论区讨论。