变分贝叶斯估计
统计推断中变分方法的应用
变分贝叶斯估计(variational Bayesian inference)是统计推断变分方法(variational method)的应用之一,能够以迭代方式在给定的变分族(variational family)中对概率模型的隐变量(latent variable)后验分布进行局部最优估计。
理论
给定 维观测数据 和包含隐变量 的统计模型,由贝叶斯定理(Bayes' theorem),隐变量的后验有如下表示:
变分贝叶斯估计的求解目标是在给定的变分族 内,找到隐变量后验分布的最优近似,利用Kullback-Leibler散度(Kullback-Leibler divergence),该优化问题有如下表示:
由KL散度的性质可知,当隐变量的后验分布在变分族之内,例如二者均为指数族分布,则上式得到全局最优,其它情形下得到局部最优。对该优化问题,变分贝叶斯估计使用平均场理论(Mean Field Theory, MFT)将维的后验分布近似为一系列一维概率分布的乘积并分别求解KL散度:
注意到变分贝叶斯估计通常不是无偏的,若本身不是变分族的成员,则上式中的KL散度不等于0.
算法
这里对变分贝叶斯估计的一般计算框架进行推导。将KL散度带入上式的优化问题中可有如下展开:
将式中的求和符号内的按等于和不等于分开并将不等于的部分合并为常数,则上式可化为:
可知,上述积分是KL散度的定义,因此变分贝叶斯估计的优化问题有如下表示:
此即是变分贝叶斯估计的计算框架。
应用
变分贝叶斯估计可以应用于完整的贝叶斯推断(full Bayesian inference),即对后验分布按因子展开进行近求解。在最大期望算法(Expectation-Maximization algorithm, EM)的E步中对隐变量后验分布的求解可以通过变分贝叶斯估计实现,形成变分贝叶斯EM(Variational Bayesian EM algorithm, VBEM)。
参考资料
Polykovskiy, D. and Novikov, A., Bayesian Methods for Machine Learning .Coursera and National Research University Higher School of Economics.2017
最新修订时间:2022-01-10 15:02
目录
概述
理论
参考资料