Hidden Markov Model属于生成模型，是带时序的概率模型。时间关系我没有实现他的参数估计方法，等待有缘人pr一波。

原理

Hidden Markov Model由初始概率分布\(\pi\)，状态转移概率分布\(A\)和观测概率分布\(B\)确定。称为\(\lambda=(A,B,\pi)\)

基本假设

  1. 齐次马尔可夫性假设，即隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态**，与其他时刻状态及观测无关，也与时刻t无关：

\[ \begin{aligned} P(i_{t}|i_{t-1},o_{t-1},...,i_{1},o_{1}) = P(i_{t}|i_{t-1}), t = 1,2,...,T \end{aligned} \]

  1. 观察独立性假设，即假设任意时刻的观测只依赖与该时刻的马尔可夫链的状态，与其他观测及状态无关

\[ \begin{aligned} P(o_{t}|i_{T},o_{T},i_{T-1},o_{T-1},...,i_{t+1},o_{t+1},i_{t},i_{t-1},o_{t-1},...,i_{1},o_{1} = P(o_{t}|i_{t}) \end{aligned} \]

应用

  1. 概率计算

给定模型为\(\lambda = (A, B, \pi)\)，在观察到结果序列为\(O=(o_{1},o_{2},...,o_{T})\)的情况下，计算此序列的出现概率\(P(O|\lambda)\)

  1. 参数学习

已知观测序列\(O=(o_{1},o_{2},...,o_{T})\)，求解模型参数\(\lambda = (A, B, \pi)\)。使得该模型下观测序列的概率值最大\(\text{argmax}_\lambda P(O|\lambda)\)

  1. 状态序列预测

给定模型为\(\lambda = (A, B, \pi)\)，在观察到结果序列为\(O=(o_{1},o_{2},...,o_{T})\)的情况下，求解使得定观测序列条件概率\(P(I|O)，I = (i_{1}, i_{2}, i_{3},...,i_{T})\)最大的状态序列。