马尔可夫过程(Markov process)是一类
随机过程。它的原始模型
马尔可夫链,由俄国数学家A.A.
马尔可夫于1907年提出。
1.马尔可夫性:设 为一随机过程,E为其状态空间,若对任意的 ,任意的 ,随机变量X(t)在已知变量 之下的条件分布函数只与 有关,而与 无关,即条件分布函数满足等式
强马尔可夫过程。在相当一段时间内,不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.
杜布。直到1956年,才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可夫过程真正研究的对象。
1951年前后,
伊藤清建立的随机微分方程的理论,为
马尔可夫过程的研究开辟了新的道路。1954年前后,W.
费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫
向量场等都是正待深入研究的领域。
一类重要的随机过程,它的原始模型
马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程:在已知它所处的状态的条件下,它未来的演变不依赖于它以往的演变。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0} 就是
马尔可夫过程。液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在
电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《
概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础。1951年前后,
伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究
马尔可夫过程开辟了新的道路。1954年前后,W.弗勒将泛函分析中的
半群方法引入马尔可夫过程的研究中,Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初,角谷静夫和J.L.
杜布等发现了
布朗运动与
偏微分方程论中
狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。
流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
(2)
独立增量过程为马尔可夫过程:设{X(t),t∈[0,+∞)}为一独立增量过程,且有P(X(0)=x0)=1,x0为常数,则X(t)为马尔可夫过程。