初探随机过程中的马尔科夫模型
正如在现实中一样，很多当前时刻的状态只取决于上一个时刻所做的决定而不是受所有历史所做出的的决定的影响，比如灯泡的以后发光的寿命只和当前是否发光有关、某一个时刻的销售额只与现在已知的累计销售额有关和过去任一时刻的累计销售额无关、人生以后的路只和当下的路有关而不是取决于过去等等，这种在概率学上成为无记忆性，一般指数分布是属于无记忆的概率分布，而马氏链属于无记忆的随机过程。
基本概念
随机过程
首先引入随机变量，众所周知，自然界的很多东西都不是完全确定的，是含概率存在的，比如等待红绿灯的可能性、投掷硬币的正反面情况等，这些不能精确确定的成为随机变量，而当随机变量有多次观测值或者是在一个时间段内的观测则说明是一组随机变量，称为随机过程，即
其中每个
是随机变量
马尔科夫链
马尔科夫链是一个特殊的随机过程，它的通俗特点就是当前的状态只和上一个状态有关和过去历史的状态无关，转变成数学公式为
概率学中一般用条件概率量化随机变量状态间的影响
具有该公式特点的随机序列或随机过程称其具有马氏性，其中m为时间间隔步长，当m为1时如果成立，表面当前状态的概率只和上一个时间的状态有关，可以用数学归纳法证明其对任意的正整数m也能成立，而这个
称为马氏链。
特别的，如果上述马氏链满足
(即此时这个概率只和时间间隔有关而和具体时刻n无关)，则这个马氏链表示是时齐的(即不根据具体时间做转移)，
为转移概率，本文之后所提的马氏链都是时齐的。
状态转移矩阵
特性
状态转移矩阵有比较多的特点特性：
- 先甩出公式
这个公式的含义是，要计算n时刻在过m间隔后状态从i转移到j时刻的概率，可以采取概率计算里面的乘法原理(事件同步)，先计算从在n时刻从状态i转移到某一个状态k的概率，这时切换成了状态k，再根据状态k切换到状态j的概率进行同步相乘即可得到(可以看成是路线i->k->j)，然而空间中状态k的值不止一个，所以把所有的路线求和，即得到该公式的实际目的
- 假如说初始时刻(t=0)的概率分布矩阵
确定，且转移矩阵都为P，则让你计算状态转移n步时的概率分布矩阵，会怎么想呢，可以引用线性代数里面的矩阵乘法(比如旋转操作等)
P的第i行向量表示由状态i转移至所有状态的概率，所以转移矩阵P的行向量是概率向量，求和为1，列向量则不一定
- 吸收链的存在 若状态转移矩阵为
即最后一行为
,表示为当转移到状态n时则停留在状态n，即状态n不发生其他任何状态的切换，则状态n为吸收状态，所以如果马氏链至少含有一个吸收状态但初始值是从非吸收状态出发的则这个马氏链称为吸收链。
吸收链的转移矩阵为
其中
为r阶单位矩阵(表面r个吸收状态),则此时转移n次的概率矩阵为
表示非吸收状态经过n次转移后还处于非吸收状态的概率分布。
应用
一般是根据变量现在情况和变化趋势(大多数是单序列的预测)，预测在某特定区间产生的变动，比如连续购买某产品的概率，消息传播的失真性，运输过程的损耗等等，核心是找每个场景的极限分布。