条件随机场(conditional random field,简称 CRF),是一种鉴别式
机率模型,是
随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列。
如同
马尔可夫随机场,条件随机场为无向性之
图模型,顶点代表随机变量,顶点间的连线代表随机变量间的相依关系,在条件随机场当中,
随机变量 Y 的分布为条件机率,给定的观察值则为随机变量 X。原则上,条件随机场的图模型布局是可以任意给定的,一般常用的布局是链结式的架构,链结式架构不论在训练(training)、推论(inference)、或是解码(decoding)上,都存在有效率的
算法可供演算。
在
概率论中,由
样本空间Ω = {0, 1, ...,G−1}取样构成的
随机变量Xi所组成的S= {X1, ...,Xn}。若对所有的ω∈Ω下式均成立,则称π为一个随机场。
马尔可夫网络,(马尔可夫随机场、无向图模型)是关于一组有
马尔可夫性质随机变量的全
联合概率分布模型。
马尔可夫网络类似
贝叶斯网络用于表示依赖关系。但是,一方面它可以表示贝叶斯网络无法表示的一些依赖关系,如循环依赖;另一方面,它不能表示贝叶斯网络能够表示的某些关系,如推导关系。马尔可夫网络的原型是
易辛模型,最初是用来说明该模型的基本假设。
一个马尔可夫网络的重要变体是
条件随机场,每个随机变量可以条件依赖于一组全局的观察。这个模型中,每个函数是从指派值到团k和从观察到非负实数的映射。这样的马尔可夫网络更适于不对观察建立分布模型的区分性模型,不是生成性模型。
隐马尔可夫模型(Hidden Markov Model,HMM)是
统计模型,它用来描述一个含有隐含未知参数的
马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。
在正常的
马尔可夫模型中,状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的,但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一
概率分布。因此输出符号的序列能够透露出状态序列的一些信息。