本文来自微信公众号：量子位 （ID：QbitAI）羽田爱种子，作家：金磊、Alex，原文标题：《Diffusion Model一发力羽田爱种子，GAN就落后了？？？》，题图：由DALL-E 2生成

马里兰大学副诠释Tom Goldstein最近发表的一个推文，可谓是一石激起千层浪。

就连科技圈的大佬们也纷纷前来关心：

话题里“剑指”的要津词则是Diffusion Model，用Tom的话来说就是：

在2021年，它以至不错说是目所未睹。

但其实这个算法并不生疏，因为它恰是AI作画神器DALL·E的中枢。

而且DALL·E的作家打一驱动就“没看上”GAN（生成抗击辘集），奏凯将其排除。

无格外偶，相同的话题在国内也激励了不小的探究：

那么图像生成领域的这波“后浪催前浪”，究竟是为何？

我们这就来盘一盘。

什么是Diffusion Model？

Diffusion Model此次被拉进聚光灯之下，不得不归功于各类“AI一句话作图”神器的火爆。

举例OpenAI家的DALL·E 2：

谷歌家的Imagen：

不出丑出，这些近期大流行的图像生成神器，不管是真实进程亦或是设想、贯串智商，都是比较允洽东说念主类的预期。

因此它们也成为了这届网友们把玩的“新宠”（往时GAN出说念的期间亦然被玩坏了）。

而如斯智商背后的要津，等于Diffusion Model。

它的探究最早不错回顾到2015年，其时，斯坦福和伯克利的探究东说念主员发布了一篇名为Deep Unsupervised Learning using Nonequilibrium Thermodynamics的论文：

但这篇探究和现在的Diffusion Model十分不一样；而真确使其施展作用的探究是2020年，一项名为Denoising Diffusion Probabilistic Models的探究：

我们不错先来看一下各类生成模子之间的对比：羽田爱种子

不出丑出，Diffusion Model和其它模子的不同点在于，它的latent code(z)和原图是同尺寸大小的。

淌若浅薄来详尽Diffusion Model，就是存在一系列高斯噪声（T轮），将输入图片x0变为纯高斯噪声xT。

再细分来看，Diffusion Model起原包含一个前向经过（Forward diffusion process）。

这个经过的方针，就是往图片上添加噪声；但在这一步中还无法已毕图片生成。

其次是一个逆向经过（Reverse diffusion process），这个经过不错贯串为Diffusion的去噪预计经过。

临了在检会阶段，色吧性爱则是通过对真实数据散播下，最大化模子瞻望散播的对数似然。

上述的经过是基于DDPM这项探究张开。

不外知乎用户“我想唱high C”（TSAIL博士）以为：

DDPM建议的期间，领域里的探究者其实并不十足明晰这个模子背后的数学旨趣，是以著述里的描摹莫得探寻到更内容的数学旨趣。

在他看来，直到斯坦福大学Yang Song等在Score-Based Generative Modeling through Stochastic Differential Equations中，才初次揭示了diffusion model的连气儿版块对应的数学布景。

况兼将统计机器学习中的denoising score matching依次与DDPM中的去噪检会和洽起来。

更多细节经过不错参考文末承接中的论文细则。

那么接下来需要探讨的一个问题是：

为什么GAN这样快会被取代？

用OpenAI的一篇论文内容来讲，用Diffusion Model生成的图像质料剖判优于GAN模子。

DALL·E是个多模态预检会大模子，“多模态”和“大”字都证据，检会这个模子的数据集十分广大冗杂。

发表这篇推特的Tom Goldstein诠释提到，GAN模子检会经过有个难点，就是宽广亏空函数的鞍点（saddle-point）的最优权重奈何确定，这其实是个蛮复杂的数知识题。

在多层深度学习模子的检会经过中，需通过屡次响应，直至模子经管。

但在试验操作中发现，亏空函数不竭弗成可靠地经管到鞍点，导致模子自如性较差。即使有探究东说念主员建议一些手段来加强鞍点的自如性，但如故不及以措置这个问题。

尤其面临更加复杂、万般化的数据，鞍点的处理就变得更加费劲了。

与GAN不同，DALL·E使用Diffusion Model，无用在鞍点问题上纠结，只需要去最小化一个圭臬的凸交叉熵亏空（convex cross-entropy loss），而且东说念主照旧知说念奈何使其自如。

这样就大大简化了模子检会经过中，数据处理的难度。说白了，就是用一个新的数学范式，再行颖的角度克服了一起守密。

此外，GAN模子在检会经过中，除了需要“生成器”，将采样的高斯噪声映射到数据散播；还需要额外检会判别器，这就导致检会变得很迷糊了。

和GAN比拟，Diffusion Model只需要检会“生成器”，检会方针函数浅薄，而且不需要检会别的辘集（判别器、后验散播等），倏地简化了一堆东西。

现在的检会技巧让Diffusion Model奏凯率先了GAN领域调模子的阶段，而是奏凯不错用来作念卑鄙任务。

△Diffusion Model直不雅图

从表面角度来看，Diffusion Model的见效在于检会的模子只需要“师法”一个浅薄的前向经过对应的逆向经过，而不需要像其它模子那样“黑盒”地搜索模子。

况兼，这个逆向经过的每一小步都十分浅薄，只需要用一个浅薄的高斯散播（q(x(t-1)| xt)）来拟合。

这为Diffusion Model的优化带来了诸多便利，这亦然它训诲进展十分好的原因之一。

Diffushion Model是否就是无缺？

不见得。

从趋势上来看，Diffushion Model领域确乎正处于百花皆放的气象，但正如“我想唱high C”所述：

这个领域有一些中枢的表面问题还需要探究，这给我们这些作念表面的东说念主提供了个很有价值的探究内容。>况兼，哪怕对表面探究不感意思，由于这个模子照旧很work了，它和卑鄙任务的纠合也才刚刚起步，有好多场合都不错速即占坑。

我信赖Diffusion Model的加快采样确信会在不久的畴昔透澈被措置，从而让Diffusion Model占据深度生成模子的主导。

而关于Diffusion Model的灵验性以及很快取代GAN这件事，马毅诠释以为充分地证据了一个意念念：

几行浅薄正确的数学推导，不错比近十年的大规模调试超参调试汇聚积构灵验得多。

不外关于这种“前浪推后浪”的火热，马毅诠释也有不一样的不雅点：

但愿年青的探究员规定探究的方针和作风，千万不要被现在热的东西忽悠。

包括Diffusion Process，这其实亦然好几百年old的主张，仅仅老树发新芽，找到新的哄骗。

“我想唱high C”知乎复兴：

https://www.zhihu.com/question/536012286/answer/2533146567

参考承接：

[1]https://twitter.com/tomgoldsteincs/status/1560334207578161152?s=21&t=QE8OFIwufZSTNi5bQhs0hQ

[2]https://www.zhihu.com/question/536012286

[3]https://arxiv.org/pdf/2105.05233.pdf

[4]https://arxiv.org/abs/1503.03585

[5]https://arxiv.org/abs/2006.11239

[6]https://arxiv.org/abs/2011.13456

[7]https://weibo.com/u/3235040884?topnav=1&wvr=6&topsug=1&is_all=1

本文来自微信公众号：量子位 （ID：QbitAI），作家：金磊、Alex