VAE的原理大概为，给定一个 \(x\)，我们认为其是由一个隐变量 \(z\) 生成的，这个隐变量 \(z\) 则是通过一个后验网络 \(q_{\phi}(z|x)\) 预测出来的，而在推理的时候，则是通过 \(z\) 去预测 \(x\).

20250804154550

如果用公式描述\(p(x)\)的生成过程，则大概可以分为以下几步

\[ p(x) = \int_z p_{\theta}(x|z)p(z) \tag{1} \]

可以理解为在所有 \(z\) 上进行积分得到每一个 \(p(z)\) 发生的概率乘以每一个 \(p(z)\) 发生的时候 \(p(x)\) 也发生的概率 \(p_\theta(x|z)\)，此时我们同时乘以和除以一个 \(q_\phi(z|x)\)，则可以得到：

\[ p(x) = \int_z q_\phi(z|x) \frac{p_{\theta}(x|z)p(z)}{q_\phi(z|x)} \tag{2} \]

我们可以把这个边缘计算进行期望表示

\[ logp(x)=logE_{z \sim q_\phi(z∣x)} [\frac{p_\theta(x∣z)p(z)}{q_\phi(z∣x)}] \tag{3} \]

对于这个 将边缘计算进行期望表示 即公式(3) 的理解为：

对于一个连续随机变量 \(Z\) 和一个函数 \(f(Z)\)，其期望（均值）定义为： \[ \mathbb{E} = \int_{-\infty}^{\infty} f(z)p(z) dz \tag{4} \] 其中：

  • \(f(Z)\) 是随机变量 \(Z\) 的某个函数
  • \(p(z)\) \(Z\) 的概率密度函数

这个公式表明，期望是通过将函数 \(f(Z)\) 在整个样本空间上加权平均得到的，权重上随机变量的概率密度 \(p(z)\)。

假如有一个积分表达式： \[ I=\int f(z)g(z)dz \tag{5} \] 如果我们将 \(g(z)\) 视为某个随机变量 \(Z\) 的概率密度函数 \(p(z)\)，那么这个积分可以写成 \[ I=\int f(z)p(z) dz \tag{6} \] 根据期望的定义，这正是随机变量 \(f{Z}\)的期望：

\[ I=\mathbb{E}[f(Z)] \tag{7} \]

则对于我们的边缘计算进行期望表示则可以理解为： \[ \int f(z)q_\phi(z|x)dz = \mathbb{E}_{z \sim q_\phi(z|x)}[f(z)] \tag{8} \]

即在给定条件 \(x\) 下，随机变量 \(f(Z)\) 的期望可以通过积分计算，\(z \sim q_\phi(z∣x)\) 是概率论和机器学习中常见的表示方法。它表示随机变量 \(z\) 从条件概率分布 \(q_\phi(z∣x)\) 中采样。

根据公式(8)，我们可以将 \(\frac{p_{\theta}(x|z)p(z)}{q_\phi(z|x)}\) 看作是 \(f(z)\)，则\(f(z)\)可以被写为 \[ f(z)=\frac{p_{\theta}(x|z)p(z)}{q_\phi(z|x)} \tag{9} \]

则公式(2)可以被写为：

\[ p(x) = \int_z q_\phi(z|x) f(z) \tag{10} \] 那么则有： \[ logp(x)=logE_{z \sim q_\phi(z∣x)} f(z) \tag{11} \]

根据詹森不等式（Jensen's Inequality），将对数期望转换为一个下界。这个下界被称为证据下界（Evidence Lower Bound, ELBO），它是变分推断中优化的目标。 詹森不等式的定义：对于一个凸函数\(f\)和一个随机变量\(X\)，詹森不等式表述为，如果\(f\)是一个凸函数，那么对于任何随机变量\(X\)，我们有： \[ f(\mathbb{E}[X]) \leq \mathbb{E(f(X))} \tag{12} \] 当 \(f()==log()\)时候，通过最大化 ELBO，我们可以找到最佳的近似分布 \(q_\phi(z∣x)\)，从而使其尽可能接近真实的后验分布 \(p(z∣x)\)。 \[ logp(x) = logE_{z \sim q_\phi(z∣x)} f(z) \\ \geq \mathbb{E}_{z \sim q_\phi(z∣x)} [\log f(z)] \tag{13} \] 其中： \[ f(z) = \frac{p_{\theta}(x|z)p(z)}{q_\phi(z|x)} \tag{14} \] 综上，则有： \[ log p(x) \geq \mathbb{E}_{z \sim q_\phi(z∣x)} [\frac{p_{\theta}(x|z)p(z)}{q_\phi(z|x)}] \tag{15} \]