SD教程ControlNet的安装使用

part1 初步介绍ControlNet的原理、功能

大家好!欢迎大家收看我们Stable Diffusion从入门到精通系列教程 第11节,我们接下来的目标是实现一个视频转动漫风格的转换。

因此我们要正式讲这个ControlNet了,之前已经把基础环境搭建,和普通的插件的安装方法给大家演示了,如果还不知道的小伙伴 可以进我们主页的播放列表哦。

以前SD出图,基本上天马行空,基本不太可控。自从有了ControlNet,使得SD变得越来越可控了。 基本可以按照我们预想的方式生产图片了。

我们现在就直接来讲一下这个ControlNet,然后这一期视频是我们ControlNet系列的第一期。

好 ,那么我们废话不多说,马上开始今天的内容。

说到这个ControlNet,还是要提出三个灵魂的拷问!

①这个ControlNet是什么?

②这个ControlNet到底能做什么?

③这个ControlNet到底怎么用?

那么,作为我们这个跳跃性教学的”无厘头”大师

首先回答第一个问题(ControlNet是什么):

controlnet是条件生成对抗神经网络的一种,就是通过额外的输入来控制预训练的大模型(比如Stable Diffusion)。这个本质其实就是端对端的训练,简单来说part2 ControlNet的安装和基本使用:它解决了文生图大模型的关键问题:单纯的关键词控制方式无法满足对细节精确控制的需要。所以通过一个或多个参考图,来使 AI 生成的尽可能符合我们要求的图片。有了它的帮助,就不用频繁用提示词来碰运气抽卡式创作了。

第二个问题(ControlNet到底能做什么):

通过ControlNet的边缘检测模型或线稿模型提取线稿,再根据提示词和风格模型对图像进行着色和风格化。这使得用户可以通过ControlNet精准地控制AI图像的生成,例如上传线稿让AI帮忙填色渲染,或者控制人物的姿态、图片生成线稿等等。因此,ControlNet可以被广泛应用于各种需要精细控制图像生成的场景,如艺术设计、插图制作、广告设计等等。

part2 ControlNet的安装和基本使用

【首先controlnet的安装】

controlnet的安装步骤:启动SD(网址: http://127.0.0.1:7860)→点击“拓展”→点击“可用”→点击“加载”→搜索“Controlnet”→重启界面

【检查control是否安装好】

方法一:已安装界面出现controlnet的版本信息

方法二:文生图界面出现Controlnet的一栏

【Controlnet模型下载】

步骤:打开作者主页(网址:https://huggingface.co/lllyasviel)→点击需要下载的模型界面→点击“Files and versions”下载→把下载好的文件放置于保存的SD-Webui/extensions/SD-webui-controlnet/models目录文件夹中

【Controlnet初阶使用】

步骤:将选择好的引导图拖拽入Controlnet的图片上传处→点击下方的启用;若显存低于6g,则选择低缓存;勾选预览和像素完美→controlnet的类型,可以初步选择openpose(姿态控制),点击旁边类似于小爆炸的图标

本期所写的提示词(可复制):

(masterpiece, best quality:1. 4), solo, outdoor, lake,sunnyday, yoga pose,Palms pressed together, (tight yoga pants, white yoga pants:1. 4), (realistic, hyperrealistic:1. 4), 4k hdr,

(worst quality, low quality, normal quality:1.4), lowres, bad anatomy, ((bad hands)), text, error, missing fingers, extra digit, fewer digits,head out of frame, cropped, letterboxed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, censored, letterbox, blurry, monochrome, fused clothes, nail polish, boring, extra legs, fused legs, missing legs, missing arms, extra arms, fused arms, missing limbs, mutated limbs, dead eyes, empty eyes, 2girls, multiple girls, 1boy, 2boys, multiple boys, multiple views, jpeg artifacts, text, signature, watermark, artist name, logo, low res background, low quality background, missing background, white background

【没有合适姿势引导图片的解决方案】

方法一:自己摆pose拍照,让Controlnet识别

方法二:编辑右边的图形,使用Openpose Editor

方法三:第三方网站(网址:https://app.posemy.art/)截选3D人形,直接生成openpose

part3 结尾

可能是因为我讲得太详细了,所以这一集的时间有点长。那接下来呢,我们会详细介绍关于controlnet的type,比如openpose、canny、depth等等。敬请期待哦!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容