原文作者:极客飞兔
链接:https://juejin.cn/post/7221072002336079909
🖍 图生图基本参数
图生图功能主要包括六大类:
图生图 / img2img
、涂鸦绘制 / sketch
、局部绘制 / inpaint
、局部绘制之涂鸦蒙版 / inpaint sketch
、局部绘制之上传蒙版 / inpaint upload
、批量处理 / batch
图生图的基本参数包括但不限于以下几种:
Resize mode: 缩放模式
包括拉伸/Just resize
、裁剪/crop and resize
、填充/resize and fill
、仅调整大小(潜空间放大/just resize (latent ipscale)
缩放模式指的是当原图和要生成的图的宽和高不一致的时候,选择的缩放模式,一般选择裁剪,如果原图和生成图的宽高一致的时候,选择任意均可Mask blur: 蒙版模糊度,在
0-64
之间调节,就是将我们涂抹区域,从边缘向中间透明过渡。数值较小的时候,边缘越锐利,所以一个合适的值会让图片看起来更真实,数值一般默认即可Masked content: 蒙版蒙住的内容,包括
填充/fill
、原图/original
、潜在噪声/latent noise
、无潜在空间/latent nothing
。
这是一种预处理的步骤,其中填充是指使用蒙版边缘图像的颜色填充,不过颜色已经被高度模糊;原图则是同原图一样不改变任何细节;而潜在噪声则是使用噪点进行填充;而无潜在空间就是噪点值为0的状态,可以看到只有原图保留了原来的画面,所以一般选择原图即可Mask transparency: 蒙版的透明度,一般默认为0,即不透明,因为透明度越高,AI发挥的空间越小,基本上当透明度大于60,预处理就会失去作用
Mask mode: 蒙版模式,包括
绘制蒙版内容/inpaint masked
、绘制非蒙版内容/inpaint not masked
这个很好理解,选择第一个就是只在蒙版区域重绘,另一种则相反,正常一般默认第一个即可Inpaint area: 绘制区域,包括
全图/whole picture
、仅蒙版/only masked
。
全图重绘 是指在原图大小的基础下绘制蒙版区域,优点就是内容与原图融合的更好,缺点是不够细节;
蒙版重绘 是指处理的时候将蒙版区域进行放大到原图的尺寸,画完之后再缩小放到原图的相应的位置,优点就是细节更好,缺点也是细节太多,与原图融合的不够好Denoising strength: 重绘强度,默认0.75,低强度就是基本不重绘,越高重绘越强,融合越不好,所以默认即可
虽然图生图的参数比较多,但大多数的时候,我们选择默认即可,因为很多时候,只需要正确的选择而非过多的选择,个人也仅仅设置一下缩放模式、采样器、采样步骤和宽高进行出图
🌅 图生图(img2img)
- 可以根据你上传的图片生成一张在原图基础上创作的新图片
- 可以通过修改
Prompt
去自定义想要的结果图片,比如白色头发,红色眼睛等等
🎨 涂鸦绘制(Sketch)
- 在原图基础上涂鸦后,进行二次创作,这是最基础的用法,当然也可以进行线稿的上色
- 模型要选择好,如果想要生成二次元的,记得选择二次元模型,下图测试选择的是真人模型
- 在进行线稿上色的时候,设置 缩放模式为裁剪 ▶ 采样器是
DPM++ 2M Karras
▶ 采样步骤设置的是30
▶ 脚本Script
中选择是图像迭代Loopback
▶ 迭代次数设置成多少生成的图片就是多少张,一般设置2-4,防止显卡撑不住 ▶ 最终的重绘强度Final denoising strenght
设置成了0.88
▶ 重绘曲线选择Linear
▶ 迭代中反推提示词选择DeepBooru
,生成的最终图片效果还是很棒的
🎨 局部绘制(Inpaint)
在局部绘制中,我们只需要将需要重绘的地方圈出来,然后加上
Prompt
提示词即可其中蒙版的黑色画笔并不是一种真的颜色,它是一片代表透明(不可见)属性的区域
比如,将图片中的女生头发换成一头白发,只需要将图片上的头发区域涂上蒙版,然后在
Prompt
中输入white hair
提示词即可当然这里只作为测试,如果想要更好的效果,自己设置更多的
Prompt
进行描述,除了头发,其他任何区域都可以进行重绘
🎨 涂鸦蒙版(Inpaint sketch)
- 相比于局部重绘,多了一个蒙版透明度的配置,这是因为这里的蒙版是可以自定义颜色的
- 在局部绘制中画笔只有黑色,而在涂鸦蒙版中蒙版的颜色会影响到原图,选择什么颜色最终重绘都会往这个颜色上靠
- 蒙版透明度按照需要颜色的程度调节,最好不要超过40
- 比如将动漫女生衣服换成红色的旗袍,只需要将衣服用红色的画笔涂抹,然后在
Prompt
中输入中国旗袍的英文解释即可,因为涂鸦蒙版的颜色是会影响到原图的,所以如果是用蓝色涂抹衣服,最终将会生成蓝色的旗袍
🎨 上传蒙版(Inpaint upload)
跟涂鸦蒙版其实差不多,只是上传的蒙版需要借助其他工具如PS的处理,相比直接手涂肯定是更精确
上传蒙版的蒙版在制作时可以设置部分透明的效果(不同程度的灰),还有边缘的羽化等等。此时需要注意具有相同效果的蒙版模糊的使用
需要注意的一点是,在上传蒙版中,白色代表重绘,黑色代表不处理。也不用细分,如果弄错了,在蒙版模式中选择重绘非蒙版就可以
为了方便测试,就将图片放到涂鸦蒙版中,用黑白两色把原图进行圈出,截图上传到上传蒙版中了,顺便加了
Prompt
的参数是天空、建筑物、人物等,可以看出AI
只在白色区域进行了重绘,而圈出的黑色是没有重绘的-
还有最后一个批量处理功能,用的不多,也不用讲太细,只要输入图片所在目录路径、图片处理后保存的路径以及蒙版路劲即可批量处理