变分自编码器 (VAE)

VAE 开篇论文: Auto-Encoding Variational Bayes, [https://arxiv.org/abs/1312.6114]

VAE 详解: Tutorial on Variational Autoencoders, [https://arxiv.org/abs/1606.05908v2]

摘要

怎样在一个有向的概率模型中进行有效的推理? 并且是在有棘手的后验分布的连续隐变量和大数据集的情况下? 本文将提出随机的变分推理及学习算法.

方法

问题设定

考虑一个数据集 $\mathbf{X}=\{\mathbf{x}^{(i)}\}_{i=1}^{N}$ 包含 $N$ 个独立同分布的样本, $\mathbf x$ 是离散或连续的. 假设样本是将无法观察到的连续性随机变量 $\mathbf z$ 通过一些随机的处理过程生成的. 这个处理过程包含两个步骤: (1) 从某个条件先验分布 $p_{\boldsymbol{\theta}^{*}}(\mathbf{z})$ 产生一个变量 $\mathbf z^{(i)}$; (2) 从某个条件分布 $p_{\boldsymbol{\theta}^{*}}(\mathbf{x} | \mathbf{z})$ 产生一个样本 $\mathbf x^{(i)}$.

变分界限