变分贝叶斯估计(variational Bayesian inference)是
统计推断中
变分方法(variational method)的应用之一,能够以迭代方式在给定的变分族(variational family)中对
概率模型的隐变量(latent variable)后验分布进行局部最优估计。
变分贝叶斯估计的求解目标是在给定的变分族 内,找到隐变量后验分布的最优近似,利用Kullback-Leibler散度(Kullback-Leibler divergence),该优化问题有如下表示:
由KL散度的性质可知,当隐变量的后验分布在变分族之内,例如二者均为
指数族分布,则上式得到全局最优,其它情形下得到局部最优。对该优化问题,变分贝叶斯估计使用
平均场理论(Mean Field Theory, MFT)将维的后验分布近似为一系列一维概率分布的乘积并分别求解KL散度:
注意到变分贝叶斯估计通常不是无偏的,若本身不是变分族的成员,则上式中的KL散度不等于0.
变分贝叶斯估计可以应用于完整的贝叶斯推断(full Bayesian inference),即对后验分布按因子展开进行近求解。在最大期望算法(Expectation-Maximization algorithm, EM)的E步中对隐变量后验分布的求解可以通过变分贝叶斯估计实现,形成
变分贝叶斯EM(Variational Bayesian EM algorithm, VBEM)。