变分自编码器(VAE)学习

我看了VAE之后忽然对神经网络的非监督学习以及概率模型很感兴趣,但是无奈概率模型真的好难懂啊. 今天尝试一边描述VAE一边真正的理解他. 参考总结自:https://spaces.ac.cn/archives/5253

介绍

变分自编码器是传统编码器的一个变体,从深度学习的角度来说就是改变了loss函数使生成器可以 生成与原样本不相同但又属于相同分布的样本.

术语表:

• 编码器:

  在概率模型中,编码器称为推理网络,他将参数化潜在特征的后验近似$z$,然后将参数输出到分布$q(z|x)$,也可以说$q(z|x)$是$x$的后验分布.

• 解码器:

  解码器是根据$z$重构$x$的,分布为$p(x|z)$.

推导

在传统的编码器中,解码器$p(x|z)$是易于训练的,但是$q(z|x)$是难以学习的.根据贝叶斯定理,我们可以把后验分布转写成另一种形式,但是$p(x)$也并不知道,所以利用联合概率分布近似代替$p(x)$: $$\begin{aligned} q(z|x)=\frac{p(x|z)p(z)}{p(x)}=\frac{p(x|z)p(z)}{\sum_zp(x|z)p(z)} \end{aligned}$$

为了近似求出后验分布,我们还需要一种方法将估计出的分布与真实分布进行比较,所以使用KL分歧来衡量两个概率分布的相似程度.如果相同,则分歧为0,如果大于0,则分布不同. 因此使用如下方式使用KL分歧: 由于我们考虑的是各分量独立的多元正态分布，因此只需要推导一元正态分布的情形即可: $$\begin{aligned}&KL\Big(N(\mu,\sigma^2)\Big\Vert N(0,1)\Big)\\ =&\int \frac{1}{\sqrt{2\pi\sigma^2}}e^{-(x-\mu)^2/2\sigma^2} \left(\log \frac{e^{-(x-\mu)^2/2\sigma^2}/\sqrt{2\pi\sigma^2}}{e^{-x^2/2}/\sqrt{2\pi}}\right)dx\\ =&\int \frac{1}{\sqrt{2\pi\sigma^2}}e^{-(x-\mu)^2/2\sigma^2} \log \left\{\frac{1}{\sqrt{\sigma^2}}\exp\left\{\frac{1}{2}\big[x^2-(x-\mu)^2/\sigma^2\big]\right\} \right\}dx\\ =&\frac{1}{2}\int \frac{1}{\sqrt{2\pi\sigma^2}}e^{-(x-\mu)^2/2\sigma^2} \Big[-\log \sigma^2+x^2-(x-\mu)^2/\sigma^2 \Big] dx \\ =&\frac{1}{2}[-log\sigma^2+\mu^2+\sigma^2-1] \end{aligned}$$

重参数

VAE可以生成新的$X$就是因为他从隐空间取$z$的时候是随机选取的,但是随机选取$z$会导致无法反向求导,所以就使用一个重参数技巧.

从$N(\mu,\sigma^2)$中采样一个$z$,就相当于从$N(0,1)$中采样一个$\epsilon$,然后令$z=\mu+\epsilon*\sigma$.

本质结构

本质上VAE就是训练出一个后验分布$q(Z|X)$,然后生成器从后验分布中随机取元素(相当于加噪声)并解码出对应的$\bar{X}$.代码上实现起来相当简单,但是背后的数学思想是非常难理解的,现在我还是一知半解.