决策树

笔记摘要

• 决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间上的条件概率分布
• 根据损失函数最小化的原则建立决策树模型
• 决策树的路径或其对应的if-then规则集合具有一个重要性质：互斥且完备
• 决策树的学习算法包含特征选择、决策树的生成与决策树的剪枝
• 决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择