Diffusion Models：生成扩散模型

编者：郑英林

zhengyinglin@stu.xmu.edu.cn

这个不是我原创的哈，是博采众长，参考了许多知乎以及论文以及博客，详细信息看参考文献

目前最近在 AI 作画这个领域 Transformer 火的一塌糊涂，AI 画画效果从 18 年的 DeepDream噩梦中惊醒过来，开始从 2022 年 OpenAI 的 DALL·E 2[2] 引来插画效果和联想效果都达到惊人效果。

但是要了解：Transformer 带来 AI + 艺术，从语言开始遇到多模态，碰撞艺术火花 这个主题，需要引申很多额外的知识点，可能跟 CV、NLP 等领域大力出奇迹的方式不同，AI + 艺术会除了遇到 Transformer 结构以外，还会涉及到 VAE、ELBO、Diffusion Model 等一系列跟数学相关的知识。

Transformer + Art 系列中，今天新挖一个 Diffusion Models 的坑，跟 VAE 一样原理很复杂，实现很粗暴。据说生成扩散模型以数学复杂闻名，似乎比 VAE、GAN 要难理解得多，是否真的如此？扩散模型能少来点数学吗？扩散模型真的做不到一个简单点的理解吗？

在本文中，我们将研究扩散模型的理论基础，然后演示如何在 PyTorch 中使用扩散模型生成图像。Let's dive in!

Diffusion Model 基本介绍

扩散模型（Diffusion Models）发表以来其实并没有收到太多的关注，因为他不像 GAN 那样简单粗暴好理解。不过最近这几年正在生成模型领域异军突起，当前最先进的两个文本生成图像——OpenAI 的 DALL·E 2 和 Google 的 Imagen，都是基于扩散模型来完成的。

如今生成扩散模型的大火，则是始于 2020 年所提出的 DDPM（Denoising Diffusion Probabilistic Model），仅在 2020 年发布的开创性论文 DDPM 就向世界展示了扩散模型的能力，在图像合成方面击败了 GAN，所以后续很多图像生成领域开始转向 DDPM 领域的研究。

看了下网上很多文章在介绍 DDPM 时，上来就引入概率转移分布，接着就是变分推断，然后极大值似然求解和引入证据下界（Evidence Lower Bound）。一堆数学记号下来，先吓跑了前几周的我（当然，从这种介绍我们可以再次看出，DDPM 实际上与 VAE 的理论关系是非常紧密），再加之人们对传统扩散模型的固有印象，所以就形成了 “需要很高深的数学知识” 的错觉。

生成模型对比

还是先横向对一下最近比较火的几个生成模型 GAN、VAE、Flow-based Models、Diffusion Models。

GAN 由一个生成器（generator）和判别器（discriminator）组成，generator 负责生成逼真数据以 “骗” 过 discriminator，而 discriminator 负责判断一个样本是真实的还是 “造” 出来的。GAN 的训练其实就是两个模型在相互学习，能不能不叫“对抗”，和谐一点。

VAE 同样希望训练一个生成模型$x=g(z)$$x=g(z)$，这个模型能够将采样后的概率分布映射到训练集的概率分布。生成隐变量 $z$$z$，并且 $z$$z$ 是及含有数据信息又含有噪声，除了还原输入的样本数据以外，还可以用于生成新的数据。

Diffusion Models 的灵感来自non-equilibrium thermodynamics （非平衡热力学）。理论首先定义扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习，并且隐空间 $z$$z$ 具有比较高的维度。

总的来看，Diffusion Models 领域正处于一个百花齐放的状态，这个领域有一点像 GAN 刚提出来的时候，目前的训练技术让 Diffusion Models 直接跨越了 GAN 领域调模型的阶段，直接可以用来做下游任务。

直观理解Diffusion model

生成式模型本质上是一组概率分布。如下图所示，左边是一个训练数据集，里面所有的数据都是从某个数据$p_{data}$$p_{data}$中独立同分布取出的随机样本。右边就是其生成式模型（概率分布），在这种概率分布中，找出一个分布$p_{\theta }$$p_θ$使得它离$p_{data}$$p_{data}$的距离最近。接着在$p_{\theta }$$p_θ$上采新的样本，可以获得源源不断的新数据。

但是往往$p_{data}$$p_{data}$的形式是非常复杂的，而且图像的维度很高，我们很难遍历整个空间，同时我们能观测到的数据样本也有限。

Diffusion做的是什么事呢？

我们可以将任意分布，当然也包括我们感兴趣的$p_{data}$$p_{data}$，不断加噪声，使得他最终变成一个纯噪声分布$N(0,I)$$N(0,I)$。怎么理解呢？

从概率分布的角度来看，考虑下图瑞士卷形状的二维联合概率分布$p(x,y)$$p(x,y)$，扩散过程q非常直观，本来集中有序的样本点，受到噪声的扰动，向外扩散，最终变成一个完全无序的噪声分布。

而diffusion model其实是图上的这个逆过程$p$$p$，将一个噪声分布$N(0,I)$$N(0,I)$逐步地去噪以映射到$p_{data}$$p_{data}$，有了这样的映射，我们从噪声分布中采样，最终可以得到一张想要的图像，也就是可以做生成了。

而从单个图像样本来看这个过程，扩散过程$q$$q$就是不断往图像上加噪声直到图像变成一个纯噪声，逆扩散过程$p$$p$就是从纯噪声生成一张图像的过程。

形式化解析Diffusion model

Diffusion Models 既然叫生成模型，这意味着 Diffusion Models 用于生成与训练数据相似的数据。从根本上说，Diffusion Models 的工作原理，是通过连续添加高斯噪声来破坏训练数据，然后通过反转这个噪声过程，来学习恢复数据。

训练后，可以使用 Diffusion Models 将随机采样的噪声传入模型中，通过学习去噪过程来生成数据。也就是下面图中所对应的基本原理，不过这里面的图仍然有点粗。

更具体地说，扩散模型是一种隐变量模型（latent variable model），使用马尔可夫链（Markov Chain, MC）映射到 latent space。通过马尔可夫链，在每一个时间步 t 中逐渐将噪声添加到数据 $x_i$$x_i$ 中以获得后验概率 $q(x_{1:T}\mid x_0)$$q(x_{1:T} \mid x_{0})$ ，其中 $x_1,\dots ,x_T$${x_1, \ldots, x_T}$ 代表输入的数据同时也是 latent space。也就是说 Diffusion Models 的 latent space与输入数据具有相同维度。

后验概率：在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率（Posterior probability）是在考虑和给出相关证据或数据后所得到的条件概率。wiki

马尔可夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马可夫性质。

Diffusion Models 分为正向的扩散过程和反向的逆扩散过程。下图为扩散过程，从 $x_0$$x_0$ 到最后的 $x_T$$x_T$ 就是一个马尔可夫链，表示状态空间中经过从一个状态到另一个状态的转换的随机过程。而下标则是 Diffusion Models 对应的图像扩散过程。

最终，从 $x_0$$x_0$ 输入的真实图像，经过 Diffusion Models 后被渐近变换为纯高斯噪声的图片 $x_T$$x_T$ 。

模型训练主要集中在逆扩散过程。训练扩散模型的目标是，学习正向的反过程：即训练概率分布 $p_{\theta }(x_{t-1}\mid x_t)$$p_{\theta}(x_{t-1} \mid x_{t})$。通过沿着马尔可夫链向后遍历，可以重新生成新的数据 $x_0$$x_0$ 。

读到这里就有点意思啦，Diffusion Models 跟 GAN 或者 VAE 的最大区别在于不是通过一个模型来进行生成的，而是基于马尔可夫链，通过学习噪声来生成数据。

除了生成很好玩的高质量图片之外呢，Diffusion Models 还具有许多其他好处，其中最重要的是训练过程中没有对抗了，对于 GAN 网络模型来说，对抗性训练其实是很不好调试的，因为对抗训练过程互相博弈的两个模型，对我们来说是个黑盒子。另外在训练效率方面，扩散模型还具有可扩展性和可并行性，那这里面如何加速训练过程，如何添加更多数学规则和约束，扩展到语音、文本、三维领域就很好玩了，可以出很多新文章。

详解 Diffusion Model

上面已经清晰表示了 Diffusion Models 由正向过程（或扩散过程）和反向过程（或逆扩散过程）组成，其中输入数据逐渐被噪声化，然后噪声被转换回源目标分布的样本。

接下来会是一点点数学，只能说我尽量讲得简单一点，就是个马尔可夫链 + 条件概率分布。核心在于如何使用神经网络模型，来求解马尔可夫过程的概率分布。

Diffusion 前向过程(扩散过程)

所谓前向过程，即往图片上加噪声的过程。虽然这个步骤无法做到图片生成，但是这是理解 diffusion model 以及构建训练样本 GT 至关重要的一步。

给定真实图片样本 $x_0\sim q(x)$$x_0\sim q(x)$ ，diffusion 前向过程通过 $T$$T$次累计对其添加高斯噪声，得到 $x_1,x_2,...,x_T$$x_1,x_2,...,x_T$，如下图的 $q$$q$ 过程。每一步的大小是由一系列的高斯分布方差的超参数 $\{{\beta }_t\in (0,1){\}}_{t=1}^T$$\{\beta_t\in(0,1)\}_{t=1}^{T}$来控制的。 前向过程由于每个时刻 $t$$t$ 只与 $t-1$$t-1$时刻有关，所以也可以看做马尔科夫过程：

这个过程中，随着 $t$$t$的增大， $x_t$$x_t$ 越来越接近纯噪声。当 $T\to \mathrm{\infty }$$T\rightarrow\infty$， $x_T$$x_T$是完全的高斯噪声（下面会证明，且与均值系数$\sqrt{1-{\beta }_t}$$\sqrt{1-\beta_t}$的选择有关）。

前向过程介绍结束前，需要讲述一下 diffusion 在实现和推导过程中要用到的两个重要特性。

特性 1：重参数（reparameterization trick）

重参数技巧在很多工作（gumbel softmax, VAE）中有所引用。如果我们要从某个分布中随机采样 (高斯分布) 一个样本，这个过程是无法反传梯度的。而这个通过高斯噪声采样得到 $x_t$$x_t$的过程在 diffusion 中到处都是，因此我们需要通过重参数技巧来使得他可微。

最通常的做法是把随机性通过一个独立的随机变量 ( $ϵ$$\epsilon$ ) 引导过去。即如果要从高斯分布 $z\sim \mathcal{N}(z;{\mu }_{\theta },{\sigma }_{\theta }^2\mathbf{I})$$z\sim \mathcal{N}(z;\mu_\theta,\sigma_\theta^2\mathbf{I})$ 采样一个 $z$$z$，我们可以写成:

上式的 $z$$z$ 依旧是有随机性的， 且满足均值为 ${\mu }_{\theta }$$\mu_\theta$ 方差为 ${\sigma }_{\theta }^2$$\sigma_\theta^2$ 的高斯分布。这里的${\mu }_{\theta }$$\mu_\theta$，${\sigma }_{\theta }^2$$\sigma_\theta^2$ 可以是由参数 $\theta$$\theta$ 的神经网络推断得到的。整个 “采样” 过程依旧梯度可导，随机性被转嫁到了$ϵ$$\epsilon$上。

特性 2：任意时刻的 $x_t$$x_t$ 可以由 $x_0$$x_0$ 和 ${\beta }_t$$\beta_t$ 表示

在前向过程中，有一个性质非常棒，就是我们其实可以通过 $x_0$$x_0$和 $\beta$$\beta$ 直接得到 $x_t$$x_t$ 。

首先我们令 ${\alpha }_t=1-{\beta }_t$$\alpha_t=1-\beta_t$，并且 ${\bar{\alpha }}_t=\prod _{i=1}^t{\alpha }_i$$\overline{\alpha}_t=\prod_{i=1}^{t}\alpha_i$，展开 $x_t$$x_t$ 可以得到:

由于两个独立高斯分布可加性，即 $\mathcal{N}(0,{\sigma }_1^2\mathbf{I})+\mathcal{N}(0,{\sigma }_2^2\mathbf{I})\sim \mathcal{N}(0,({\sigma }_1^2+{\sigma }_2^2)\mathbf{I})$$\mathcal{N}(0,\sigma_1^2\mathbf{I})+\mathcal{N}(0,\sigma_2^2\mathbf{I})\sim\mathcal{N}(0,(\sigma_1^2+\sigma_2^2)\mathbf{I})$, 所以

因此在推导的第二行，我们混合两个高斯分布得到标准差为 $\sqrt{1-{\alpha }_t{\alpha }_{t-1}}$$\sqrt{1-\alpha_t \alpha_{t-1}}$ 的混合高斯分布。

因此任意时刻的 $x_t$$x_t$ 满足

实际上 ${\beta }_t$$\beta_t$随着 $t$$t$ 增大是递增的，即 ${\beta }_1<{\beta }_2<...<{\beta }_T$$\beta_1<\beta_2<...<\beta_T$。在 GLIDE 的 code 中， ${\beta }_t$$\beta_t$ 是由 0.0001 到 0.02 线性插值（以 $T=1000$$T=1000$ 为基准， $T$$T$增加， ${\beta }_t$$\beta_t$对应增大）。

一开始笔者一直不清楚为什么 Eq(1) 中diffusion 的均值每次要乘上 $\sqrt{1-{\beta }_t}$$\sqrt{1-\beta_t}$。明明 ${\beta }_t$$\beta_t$只是方差系数，怎么会影响均值呢？替换为任何一个新的超参数，保证它 <1，也能够保证值域并且使得最后均值收敛到 0（但是方差并不为 1）. 然而通过 Eq(3)(4)，可以发现当 $T\to \mathrm{\infty }$$T\rightarrow\infty$, $x_T\sim \mathcal{N}(0,\mathbf{I})$$x_T\sim\mathcal{N}(0,\mathbf{I})$ . 所以$\sqrt{1-{\beta }_t}$$\sqrt{1-\beta_t}$的均值系数能够稳定保证 $x_T$$x_T$最后收敛到方差为 1 的标准高斯分布，且在 Eq(4) 的推导中也更为简洁优雅。

Diffusion 逆扩散过程

如果说前向过程 (forward) 是加噪的过程，那么逆向过程(reverse) 就是diffusion 的去噪推断过程。

如果我们能够逆转上述过程并从$q(x_{t-1}|x_t)$$q(x_{t-1}|x_t)$采样，就可以从高斯噪声 $x_T\sim \mathcal{N}(0,\mathbf{I})$$x_T\sim\mathcal{N}(0,\mathbf{I})$还原出原图分布 $x_0\sim q(x)$$x_0\sim q(x)$。在文献7中证明了如果 $q(x_t|x_{t-1})$$q(x_{t}|x_{t-1})$满足高斯分布且 ${\beta }_t$$\beta_t$ 足够小，$q(x_{t-1}|x_t)$$q(x_{t-1}|x_t)$ 仍然是一个高斯分布。然而我们无法简单推断 $q(x_{t-1}|x_t)$$q(x_{t-1}|x_t)$，因此我们使用深度学习模型（参数为 $\theta$$\theta$，目前主流是 U-Net+attention 的结构）去预测这样的一个逆向的分布 $p_{\theta }$$p_\theta$（类似 VAE）：

然而在论文中，作者把条件概率 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$$p_{\theta}(\mathbf{x}_{t-1}|\mathbf{x}_t)$的方差直接取了 ${\beta }_t$$\beta_t$，而不是上面说的需要网络去估计的 ${\mathrm{\Sigma }}_{\theta }({\mathbf{x}}_t,t)$$\Sigma_{\theta}(\mathbf{x}_t, t)$，所以说实际上只有均值需要网络去估计。

讲到这里我们就发现其实正向扩散和逆扩散过程都是一个骨架对吧，都是马尔可夫，然后正态分布，然后一步一步的条件概率，唯一的区别就是正向扩散里每一个条件概率的高斯分布的均值和方差都是已经确定的（依赖于 ${\beta }_t$$\beta_t$ 和 ${\mathbf{x}}_0$$\mathbf{x}_0$），而逆扩散过程里面的均值和方差是我们网络要学出来。

逆扩散条件概率推导

虽然我们无法得到逆转过程的概率分布 $q(x_{t-1}|x_t)$$q(x_{t-1}|x_t)$，但是如果知道 $x_0$$x_0$，$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$就可以直接写出，这个玩意儿大概是这么个形式

贝叶斯公式

基本的条件概率定理

乘法定理：若P(A)>0

$$P(AB)=P(A)P(B|A)$$

$$\begin{array}{}\text{(b1)}& P(ABC)=P(A)P(B|A)P(C|AB)\end{array}$$

带入贝叶斯公式

$$\begin{array}{}\text{(b2)}& P(A|B)=\frac{P(AB)}{P(B)}\end{array}$$

可以通过贝叶斯公式推导如下：

$\begin{array}{}\text{(7-1)}& q(x_{t-1}|x_t,x_0)& =\frac{q(x_t,x_0,x_{t-1})}{q(x_t,x_0)}\text{(7-2)}& & =\frac{q(x_0)q(x_{t-1}|x_0)q(x_t|x_{t-1},x_0)}{q(x_0)q(x_t|x_0)}\text{(7-3)}& & =q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}\text{(7-4)}& & \propto \exp (-\frac{1}{2}(\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{{\beta }_t}+\frac{(x_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{)}^2}{1-{\bar{a}}_{t-1}}-\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{a}}_t}))\text{(7-3)}& & =\exp (-\frac{1}{2}(\underset{x_{t-1}\text{方}\text{差}}{\underbrace{(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})x_{t-1}^2}}-\underset{x_{t-1}\text{均}\text{值}}{\underbrace{(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{a}}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0)x_{t-1}}}+\underset{\text{与}{x}_{t-1}\text{无}\text{关}}{\underbrace{C(x_t,x_0)}})).\end{array}$$\begin{align} q(x_{t-1}|x_t,x_0)&= \frac{q(x_t,x_0,x_{t-1})}{q(x_{t},x_0)} ~\tag{7-1}\\ &=\frac{q(x_0)q(x_{t-1}|x_0)q(x_t|x_{t-1},x_0)}{q(x_0)q(x_t|x_0)} ~\tag{7-2}\\&=q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}~\tag{7-3}\\ &\propto \exp\Bigg(-\frac{1}{2}\Big(\frac{(x_t-\sqrt{\alpha_t}x_{t-1})^2}{\beta_t}+\frac{(x_{t-1}-\sqrt{\overline{\alpha}_{t-1}}x_{0})^2}{1-\overline{a}_{t-1}}-\frac{(x_t-\sqrt{\overline{\alpha}_t}x_{0})^2}{1-\overline{a}_t}\Big)\Bigg)~\tag{7-4}\\ &=\exp\Bigg(-\frac{1}{2}\Big(\underbrace{(\frac{\alpha_t}{\beta_t}+\frac{1}{1-\overline{\alpha}_{t-1}})x^2_{t-1}}_{x_{t-1}方差}-\underbrace{(\frac{2\sqrt{\alpha_t}}{\beta_t}x_t+\frac{2\sqrt{\overline{a}_{t-1}}}{1-\overline{\alpha}_{t-1}}x_0)x_{t-1}}_{x_{t-1}均值}+\underbrace{C(x_t,x_0)}_{与x_{t-1}无关}\Big)\Bigg).~\tag{7-3} \end{align}$

7-1带入了贝叶斯公式b2

7-2带入乘法公式b1，再整理一下就能得到7-3

这里是我自己推导的，只能说很艰难

7-3中巧妙地将逆向过程全部变回了前向，即 $(x_{t-1},x_0)\to x_t;x_0\to x_t;x_0\to x_{t-1}$$(x_{t-1},x_0)\rightarrow x_t;\quad x_0\rightarrow x_t;\quad x_0\rightarrow x_{t-1}$，

请注意，由于前向过程具有马尔可夫性质$q(x_t|x_{t-1},x_0)$$q(x_t|x_{t-1},x_0)$实际上等价于$q(x_t|x_{t-1})$$q(x_t|x_{t-1})$，即公式（1），因此这里所有的概率分布我们都是已知的

7-4 分别写出其对应的高斯概率密度函数

7-5则整理成了 $x_{t-1}$$x_{t-1}$ 的高斯分布概率密度函数形式。

一般的高斯概率密度函数的指数部分应该写为 $\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})=\exp (-\frac{1}{2}(\frac{1}{{\sigma }^2}{x}^2-\frac{2\mu }{{\sigma }^2}x+\frac{{\mu }^2}{{\sigma }^2}))$$\exp\Big({-\frac{(x-\mu)^2}{2\sigma^2}}\Big)=\exp\Big(-\frac{1}{2}(\frac{1}{\sigma^2}x^2-\frac{2\mu}{\sigma^2}x+\frac{\mu^2}{\sigma^2})\Big)$

因此稍加整理我们可以得到 (6) 中的方差和均值为：

$\begin{array}{rl}{\tilde{\beta }}_t& =1/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}})=1/(\frac{{\alpha }_t-{\overline{\alpha }}_t+{\beta }_t}{{\beta }_t(1-{\overline{\alpha }}_{t-1})})=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}\cdot {\beta }_t\\ {\tilde{\mathit{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)& =(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0)/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}})\\ & =(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0)\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}\cdot {\beta }_t\\ & =\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}{\beta }_t}{1-{\overline{\alpha }}_t}{\mathbf{x}}_0\end{array}$$\begin{aligned} \tilde{\beta}_t &= 1/(\frac{\alpha_t}{\beta_t} + \frac{1}{1 - \bar{\alpha}_{t-1}}) = 1/(\frac{\alpha_t - \bar{\alpha}_t + \beta_t}{\beta_t(1 - \bar{\alpha}_{t-1})}) = \color{green}{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_t} \\ \tilde{\boldsymbol{\mu}}_t (\mathbf{x}_t, \mathbf{x}_0) &= (\frac{\sqrt{\alpha_t}}{\beta_t} \mathbf{x}_t + \frac{\sqrt{\bar{\alpha}_{t-1} }}{1 - \bar{\alpha}_{t-1}} \mathbf{x}_0)/(\frac{\alpha_t}{\beta_t} + \frac{1}{1 - \bar{\alpha}_{t-1}}) \\ &= (\frac{\sqrt{\alpha_t}}{\beta_t} \mathbf{x}_t + \frac{\sqrt{\bar{\alpha}_{t-1} }}{1 - \bar{\alpha}_{t-1}} \mathbf{x}_0) \color{green}{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_t} \\ &= \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} \mathbf{x}_t + \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} \mathbf{x}_0 \\ \end{aligned}$

方差 ${\tilde{\beta }}_t$$\tilde{\beta}_{t}$ 放着就不用管了可以拿来用了

关于均值的话，根据特性2的公式（2），我们得知 $x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t)$$x_0=\frac{1}{\sqrt{\overline{\alpha}_t}}(x_t-\sqrt{1-\overline{\alpha}_t}\epsilon_t)$，因此带入上式可以得到

可以看出，在给定$x_0$$x_0$的条件下，后验条件高斯分布的的均值只和超参数, $x_t$$x_t$,${ϵ}_t$$\epsilon_t$ 有关，方差只与超参数有关。

通过8-1的方差以及8-3的均值，我们就得到了$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$的解析形式。

训练损失

搞清楚逆扩散过程之后，现在算是搞清楚去噪推断过程。但是如何训练 Diffusion Models 以求得公式 (3) 中的均值 ${\mathit{\mu }}_{\theta }(x_t,t)$$\boldsymbol{\mu}_{\theta}(x_{t}, t)$ 和方差 ${\mathbf{\Sigma }}_{\theta }(x_t,t)$$\mathbf{\Sigma}_{\theta}(x_{t}, t)$呢？

在 VAE 中我们学过极大似然估计的作用：对于真实的训练样本数据已知，要求模型的参数，可以使用极大似然估计。

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。

Diffusion Models 通过极大似然估计，来找到逆扩散过程中马尔可夫链转换的概率分布，这就是 Diffusion Models 的训练目的。即最大化模型预测分布的对数似然，从Loss下降的角度就是最小化负对数似然：

这个过程很像VAE，即可以使用变分下界(VLB)来优化负对数似然。

我们回顾一下， KL 散度是一种不对称统计距离度量，用于衡量一个概率分布 $P$$P$ 与另外一个概率分布 $Q$$Q$ 的差异程度。 连续分布的 KL 散度的数学形式是：

$$D_{\mathrm{KL}}(P\parallel Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log (\frac{p(x)}{q(x)})dx$$

KL散度的性质:

1. 非对称性：$D_{\mathrm{KL}}(P\parallel Q)\ne D_{\mathrm{KL}}(Q\parallel P)$$D_{\mathrm{KL}}(P \| Q)\neq D_{\mathrm{KL}}(Q\| P)$
2. $D_{\mathrm{KL}}(P\parallel Q)\ge 0$$D_{\mathrm{KL}}(P \| Q)\geq 0$，仅在$P=Q$$P=Q$时等于0 由于KL散度非负，可得到

进一步对${\mathcal{L}}_{VLB}$$\mathcal{L}_{VLB}$推导，可以得到熵与多个 KL 散度的累加，具体可见文献 [8]. 这里我就复制一波 Lil 的博客中的推导过程：

让我们把这堆东西简化一下

接下来我们对$L_T,L_t,L_0$$L_T,L_t,L_0$这三种情况进行分类讨论：

首先，由于前向过程$q$$q$ 没有可学习参数，而 $x_T$$x_T$ 则是纯高斯噪声，因此 $L_T$$L_T$可以当做常量忽略。

然后， $L_t$$L_t$ 是KL散度，则可以看做拉近 2 个分布的距离：

1. 第一个$q({\mathbf{x}}_t-1|{\mathbf{x}}_t,x_0)$$q(\mathbf{x}_t-1 \vert \mathbf{x}_{t},x_0)$分布我们已经在上一节推导出其解析形式，这是一个高斯分布，其均值和方差为

   $${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\epsilon }_t),{\tilde{\beta }}_t=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}\cdot {\beta }_t$$

2. 第二个分布$p_{\theta }({\mathbf{x}}_t-1|{\mathbf{x}}_t)$$p_\theta(\mathbf{x}_t-1 \vert\mathbf{x}_{t})$是我们网络期望拟合的目标分布，也是一个高斯分布，均值用网络估计，方差被设置为了一个和${\beta }_t$$\beta_t$有关的常数。

   $$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$$

我们知道如果有两个分布$p$$p$,$q$$q$都是高斯分布，则他们的KL散度为

然后因为这两个分布的方差全是常数，和优化无关，所以其实优化目标就是两个分布均值的二范数：

这个时候我们应该也是可以用网络直接预测 ${\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)$$\boldsymbol{\mu}_{\theta}\left(\mathbf{x}_{t}, t\right)$，但是，可以看出来 ${\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)$$\boldsymbol{\mu}_{\theta}\left(\mathbf{x}_{t}, t\right)$是要尽可能的去预测 $\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)$$\frac{1}{\sqrt{\alpha_{t}}}\left(\mathbf{x}_{t}-\frac{\beta_{t}}{\sqrt{1-\bar{\alpha}_{t}}} \epsilon\right)$

因为$x_t$$x_t$是${\mu }_{\theta }$$\mu_\theta$的输入，其他的量都是常数，所以其中的未知量其实只有$ϵ$$\epsilon$，所以我们干脆把 ${\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)$$\boldsymbol{\mu}_{\theta}\left(\mathbf{x}_{t}, t\right)$定义为：

也就是说不用网络直接预测 ${\tilde{\mathit{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)$$\tilde{\boldsymbol{\mu}}_{t}\left(\mathbf{x}_{t}, \mathbf{x}_{0}\right)$，而是用网络${ϵ}_{\theta }({\mathbf{x}}_t,t)$$\epsilon_{\theta}(\mathbf{x}_{t},t)$先预测噪声$ϵ$$\epsilon$，然后把预测出来的噪声带入到定义好的表达式去计算出预测的均值,其实是一样的。

然后我们把公式10带入到 公式9中$L_t$$L_{t}$中里面得到

经过这样一番推导之后就是个 L2 loss。网络的输入是一张和噪声线性组合的图片，然后要估计出来这个噪声。

最后$L_0$$L_0$部分因为涉及太多细节，不过不影响我们理解，详细的可以参考 Diffusion Models：生成扩散模型 - 知乎

训练过程

训练过程如图左边 Algorithm 1 Training 部分：

1. 从标准高斯分布采样一个噪声 $ϵ\sim \mathcal{N}(0,\mathbf{I})$$\epsilon \sim \mathcal{N}(0, \mathbf{I})$；
2. 通过梯度下降最小化损失 ${\mathrm{\nabla }}_{\theta }|\mathit{ϵ}-\mathbf{z}\theta (\sqrt{\overline{\alpha }t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}\mathit{ϵ},t){|}^2$$\nabla_{\theta}|\boldsymbol{\epsilon}-\mathbf{z}{\theta}(\sqrt{\bar{\alpha}{t}} x_{0}+\sqrt{1-\bar{\alpha}_{t}} \boldsymbol{\epsilon}, t)|^{2}$；
3. 训练到收敛为止（训练时间比较长，T 代码中设置为 1000）

测试（采样）如图右边 Algorithm 2 Sampling 部分：

1. 从标准高斯分布采样一个噪声 $x_T\sim \mathcal{N}(0,\mathbf{I})$$x_T \sim \mathcal{N}(0, \mathbf{I})$；
2. 从时间步 T 开始正向扩散迭代到时间步 1；
3. 如果时间步不为 1，则从标准高斯分布采样一个噪声 $z\sim \mathcal{N}(0,\mathbf{I})$$z \sim \mathcal{N}(0, \mathbf{I})$，否则 $z=0$$z=0$；
4. 根据高斯分布计算每个时间步 t 的噪声图；

快速回顾

正向 / 扩散过程

正向过程或者说是扩散过程，采用的是一个固定的 Markov chain 形式，即逐步地向图片添加高斯噪声：

在 DDPM 中， ${\beta }_t$$\beta_t$ 是预先设置的定值参数。

扩散过程有一个重要的特性，我们可以直接采样任意时刻 $t$$t$ 下的加噪结果 $x_t$$x_t$。将 ${\alpha }_t:=1-{\beta }_t$$\alpha_t := 1 - \beta_t$ 以及 ${\overline{\alpha }}_t:=\prod _{s=1}^t{\alpha }_s$$\bar{\alpha}_t:=\prod_{s=1}^{t}\alpha_s$，则我们可以得到：

这个解析公式使得我们可以直接获得任意程度的加噪图片，方便后续的训练。

逆向过程

逆向过程从一张随机高斯噪声图片 $x_T$$x_T$开始，通过逐步去噪生成最终的结果 $x_0$$x_0$。这个过程是一个Markov Chain，可以被定义为：

这个过程可以理解为，我们根据 $x_t$$x_t$ 作为输入，预测高斯分布的均值和方差，再基于预测的分布进行随机采样得到 $x_{t-1}$$x_{t-1}$。通过不断的预测和采样过程，最终生成一张真实的图片$x_0$$x_0$。

模型训练

为了实现基于扩散模型的生成，DDPM 采用了一个 U-Net 结构的 Autoencoder 来对 $t$$t$ 时刻的噪声进行预测，即 ${ϵ}_{\theta }(x_t,t)$$\epsilon_{\theta}(x_t, t)$ 。网络训练时采用的训练目标非常简单：

此处 $ϵ$$\epsilon$ 是高斯噪声。这里，噪声预测网络以加噪图片作为输入，目标是预测所添加的噪声。 此训练目标即希望预测的噪声和真实的噪声一致。最终在 DDPM 中， 均值${\mu }_{\theta }$$\mu_{\theta}$ 的定义为

在 DDPM 中，逆向过程中高斯分布的方差项 ${\mathrm{\Sigma }}_{\theta }$$\Sigma_{\theta}$ 采用的是一个常数项，后续也有工作用另外的网络分支去单独预测方差项，来获得更好的生成效果。

总结

1. Diffusion Model 通过参数化的方式表示为马尔科夫链，这意味着隐变量 $x_1,\dots ,x_T$$x_1,…,x_T$ 都满足当前时间步 $t$$t$ 只依赖于上一个时间步 $t-1$$t-1$ ，这样对后续计算很有帮助。
2. 马尔科夫链中的转变概率分布 $p_{\theta }(x_{t-1}|x_t)$$p_\theta(x_{t−1}|x_{t})$服从高斯分布，在正向扩散过程当中高斯分布的参数是直接设定的，而逆向过程中的高斯分布参数是通过学习得到的。
3. Diffusion Model 网络模型扩展性和鲁棒性比较强，可以选择输入和输出维度相同的网络模型，例如类似于UNet的架构，保持网络模型的输入和输出 Tensor dims 相等。
4. Diffusion Model 的目的是对输入数据求极大似然函数，实际表现为通过训练来调整模型参数以最小化数据的负对数似然的变分上限
5. 在概率分布转换过程中，因为通过马尔科夫假设，目标函数第4点中的变分上限都可以转变为利用 KL 散度来计算，因此避免了采用蒙特卡洛采样的方式。

参考文献

1. https://zhuanlan.zhihu.com/p/549623622
2. https://zhuanlan.zhihu.com/p/449284962
3. https://zhuanlan.zhihu.com/p/532736667
4. https://zhuanlan.zhihu.com/p/525106459
5. https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
6. Denoising Diffusion Probabilistic Models
7. Diffusion Models Beat GANs on Image Synthesis