策略:决策树学习本质上是从训练数据集中归纳出一组分类规则.我们需要的是一个与训练数据矛盾较小,同时具有很好的泛化能力的决策树.从所有可能的决策树中选取最优决策树是NP完全问题,所以现实中常采用启发式方法近似求解...最大熵原理:学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型.直观地,最大熵原理认为模型首先要满足已有的事实,即约束条件.在没有更多信息的情况下,那些不确定的部分都是"等可能的"....设Q是所有可能的状态的集合,V是所有可能的观测的集合
?
,I是长度为T的状态序列,O是对应的观测序列
?
,A是状态转移概率矩阵
?...,πi表示时刻t=1处于状态qi的概率.隐马尔可夫模型由初始状态概率向量π,状态转移概率矩阵A以及观测概率矩阵B确定.π和A决定即隐藏的马尔可夫链,生成不可观测的状态序列.B决定如何从状态生成观测,与状态序列综合确定了观测序列...,计算在模型λ下观测序列O出现的概率P(O|λ).
直接计算法:最直接的方法是列举所有可能长度为T的状态序列,求各个状态序列I与观测序列O的联合概率,但计算量太大,实际操作不可行.