Diffusion Models专栏文章汇总:入门与实战

最新最全Diffusion Models论文、代码汇总

1、Diffusion Models扩散模型与深度学习(附Python示例)

这篇文章适合小白入门看,能快速了解diffusion models背后的物理背景、数学推导、核心思想、代码实现。

2、击败GANs的新生成式模型:score-based model(diffusion model)原理、网络结构、应用、代码、实验、展望

这篇文章适合小白入门,在上一篇文章的基础上,更加深入讨论:会不会是下一个GANs?能否解决目前GANs遇到的问题?和现有的生成式模型相比有哪些优点?哪些缺点?目前的网络结构是怎样?如何用代码实现?常用的数据集有哪些?常用的评价指标有哪些?能应用到哪些领域?遇到了哪些问题?发展的瓶颈有哪些?未来的发展会怎样?

3、为什么Diffusion Models扩散模型可以称为Score-based Models?

近两年diffusion models野蛮生长,出现了很多不同的命名方式:denoising diffusion probabilistic models、score-based generative models、generative diffusion processes、energy-based models (EBMs)等,其实他们核心思想都是一样的,这篇文章通过讨论diffusion models为什么可以称为分数匹配模型,能更深入理解扩散模型。

4、条件DDPM:Diffusion model的第三个巅峰之作

DDPM2020年诞生,短短一年的时间,模型上有两个巨大的改进,其中一个就是condition的引入,最近大部分DDPM相关的论文都会讨论这一点,有些文章称之为latent variable。和当年GAN的发展类似,CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大,意义重大。

5、从VAE到Diffusion Models

前面几篇文章更多的在思考GAN和diffusion model之间的关系,VAE作为最经典的生成模型之一,本文从VAE出发,聊一聊VAE和diffusion model之间的爱恨情仇。

6、DiffuseVAE:完美结合VAE和Diffusion Models

生成式模型的根本任务是捕捉底层的数据分布,并学习以无监督的方式从数据的显式/隐式分布中生成新的样本。本文介绍DDPM最新的研究成果DiffuseVAE,解决低维潜在空间上生成样本质量差、采样速度慢等问题。

7、为什么Diffusion Models钟爱U-net结构?

通过前面的文章介绍,大家应该已经基本了解扩散模型的特点,细心的读者会有疑问,为什么现在绝大部分的diffusion models都是U-net结构呢?这个发源于医疗分割的网络结构,为何广受备受diffusion models生成式的喜爱呢?

8、使用DDPM实现三维点云重建

本文重点讨论点云三维重建的相关原理、应用、特殊的处理方法、与传统的DDPM的区别和联系。

9、2021年度最火Diffusion Models:用于图像编辑和高质量图像生成的GLIDE

  2021年底,马斯克掌舵的OpenAI又推出重磅作品,基于diffusion models的高质量图像生成和图像编辑,短短两个月在github上收获了2k个star,要知道DDPM的开山之作开源两年也才区区300个star。这篇博客就要探讨一下这个2021年度最火diffusion models。

10、扩散模型Diffusion Models可以看成一种autoencoder自动编码器吗?

2019年开创性论文《Generative Modeling by Estimating Gradients of the Data Distribution》发表后,扩散模型相关论文如雨后春笋一般涌现,其实扩散模型可以看成一种自动编码器。

11、 Score-based Generative Model:一统DDPM和SMLD两大生成式模型

2019年宋博士提出了SMLD模型,2020年Jonathan Ho提出了DDPM,这两大生成式随即成为顶会宠儿。2021年,宋博士提出了score-based generative model,一统这两大极为相似的生成式模型。本文在系列文章《为什么diffusion model扩散模型可以称为score-based models?》的基础上,探讨这三种生成式模型之间的区别、联系、优缺点、应用领域等。

12、Diffusion Models和GANs结合

作为Diffusion Models最成功的前辈们:flow based models、VAEs、GANs,最近几个月已经有不少将diffusion models和这些经典模型结合的文章,本系列的前文已有介绍。今天介绍的是首次将GANs和diffusion models工作,是一种比较成功的GANs的思路,相同的结合方式迅速流行,给正在做这一方向的小伙伴重要参考与启示。

13、用Diffusion Models实现image-to-image转换

diffusion models诞生到现在,很多论文热衷于把diffusion models带到自己的领域用于生成,也有不少人醉心于用各种奇技淫巧优化采样过程,以改善diffusion models致命的缺点:生成速度太慢。而Palette的诞生意义不亚于pix2pix GANs、cycleGANs,能够实现图像着色、图像修复、图像剪裁恢复、图像解压缩(超分)等等任务。我们第一次发现,原来diffusion models不仅仅能用于生成,还能有这么多有趣的应用!

14、基于diffusion models的无监督Image-to-Image转化

上一篇文章介绍了Palette,对标的是pix2pix GANs,能够实现配对的image域转化。这篇博客介绍一种DDPM,对标cycleGANs,能够实现无配对image之间的域转化,可以轻松完成白天-夜晚转化、苹果-橘子转化、野马-斑马转化、照片去雾、老照片上色、图像修复、超分辨率重建等任务,并且在理论上第一次(2021年4月)提出类似于cycle diffusion models的结构。

15、Diffusion Models在超分辨率领域的应用

GANs在Super-Resolution超分辨率大显身手,取得了很多令人兴奋的成果。作为最先进的生成式模型DDPM,不仅成功挑战了这一任务,而且在各方面的性能达到了SOTA。这篇博客就介绍一下diffusion models如何完成超分任务、背后的原理和实现方法。

入门基础系列文章汇总

有不少订阅我专栏的读者问diffusion models很深奥读不懂,需要先看一些什么知识打下基础?虽然diffusion models是一个非常前沿的工作,但肯定不是凭空产生的,背后涉及到非常多深度学习的知识,我将从配分函数、基于能量模型、马尔科夫链蒙特卡洛采样、得分匹配、比率匹配、降噪得分匹配、桥式采样、深度玻尔兹曼机等方面,摘取一些经典的知识点,供读者参考。

1、Diffusion Models/Score-based Generative Models背后的深度学习原理(1):配分函数

2、Diffusion Models/Score-based Generative Models背后的深度学习原理(2):基于能量模型和受限玻尔兹曼机

代码解读系列

大部分DDPM相关的论文代码都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》贡献代码基础上小改动的。官方的DDPM是tensorflow TPU版本,暂时没有GPU的版本。本篇文章开始,详细解读一下pytorch和tensorflow版本的代码。

1、Diffusion Models/Score-based Generative Models背后的深度学习原理(1):配分函数

2、Diffusion Models/Score-based Generative Models背后的深度学习原理(2):基于能量模型和受限玻尔兹曼机

代码解读系列

大部分DDPM相关的论文代码都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》贡献代码基础上小改动的。官方的DDPM是tensorflow TPU版本,暂时没有GPU的版本。本篇文章开始,详细解读一下pytorch和tensorflow版本的代码。

1、DDPM代码详细解读(1):数据集准备、超参数设置、loss设计、关键参数计算

2、DDPM代码详细解读(2):Unet结构、正向和逆向过程、IS和FID测试、EMA优化

3、DDPM代码详细解读(3):图解模型各部分结构、用ConvNextBlock代替Resnet

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,402评论 6 499
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,377评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,483评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,165评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,176评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,146评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,032评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,896评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,311评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,536评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,696评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,413评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,008评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,815评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,698评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,592评论 2 353

推荐阅读更多精彩内容