极大似然估计法是求估计的另一种方法，最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

设X为离散型随机变量， 为多维参数向量，如果随机变量相互独立，则可得概率函数 ，在 固定时，上式表示 的概率；当 已知的时候，它又变成 的函数，可以把它记为 ，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值 ，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使 达到最大值的那个 作为真实的估计。

设X为连续型随机变量，其概率密度函数为 ， 为从该总体中抽出的样本，同样的如果相互独立且同分布，于是样本的联合概率密度为 。大致过程同离散型一样。

（1） 写出似然函数

（2） 对似然函数取对数，并整理

（3） 求导数

（4） 解似然方程

参数估计

根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

点估计：依据样本估计总体分布中所含的未知参数或未知参数的函数。 常用方法有：矩估计法、极大似然估计法、最小二乘法、贝叶斯估计法。

区间估计（置信区间的估计）：依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

1.朴素贝叶斯法

在正态分布前提下求出了p时刻预测值yp的先验分布密度和后验分布密度，由已知的信息估计了两个协方差阵。最后求出yp的贝叶斯极大似然估计，它是两个组合预测的加权平均，本身仍为一组合预测，其权重随预测时刻p的改变而改变。

2.EM算法

期望最大算法是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。

EM的算法流程：

初始化分布参数θ；

重复以下步骤直到收敛：

E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值：

M步骤：将似然函数最大化以获得新的参数值：

这个不断的迭代，就可以得到使似然函数L(θ)最大化的参数θ了。