(
课件网) 2.4 决策树 1 2 3 决策树分类概念 构建决策树 举例说明：鸢尾花分类 备用：深度学习：人工智能 展望与挑战 未来的深度学习 【案例分析】一个游乐场经营者希望通过所收集的一系列气象参数来预测游客是否会来游乐场游玩。为了实现这样的预测，游乐场经营者希望通过天气状况(如晴、雨、多云)、温度高低、湿度大小、风力强弱四个气象特点来预测游客是否来游乐场游玩。 通过长时间的观察，游乐场经营者得到如下所示数据，记录了在不同天气、温度、湿度和风力情况下，游客是否来游乐场的情况。 2.4.1决策树分类概念 表2.4.1气象特点与游客是否来游乐场的关系 思考：从表格中可以观察到什么？可以用什么策略？有什么规律？谈谈你的想法？ [观察表格] [观察表格,画出树形结构] 决策树是一种通过树形结构进行分类的方法。 在决策树中，树形结构中每个节点表示对分类目标在属性上的一个判断，每个分支代表基于该属性做出的一个判断，最后树形结构中每个叶子节点代表一种分类结果。 决策树 2.4.1决策树分类概念 决策树将分类问题分解为若干基于单个信息的推理任务，采用树状结构来逐步完成决策判断。 2.4.1决策树分类概念 ●当天气状况的属性取值为“多云”时，样本子集为{3,7,12,13}，“多云”属性可将样本子集{3,7,12,13}划分为“前往游乐场游玩”一个类别。 图2.4.1游乐场游玩问题决策树 2.4.1决策树分类概念 ●当天气状态的属性取值为“晴”时，样本子集为{1,2,8,9,11}，可知天气状况为“晴”这个属性所得到的样本子集{1,2,8,9,11}不属于同一个类别，要进一步使用其他属性对这个样本子集进行划分。经观察，通过“湿度是否>75 ”这一属性值，可以将该样本子集进一步划分成{1,2,8}(>75,不前往游乐场)和{9,11}(≤75,前往游乐场)两个样本子集。此时这两个样本子集已被划分为两类，不需要再划分。 图2.4.1游乐场游玩问题决策树 2.4.1决策树分类概念 ●当天气状况的属性取值为“雨”时，样本子集为{4,5,6,10,14}，此时样本子集无法被划分为一类，需要进一步使用其他属性对这个样本子集进行划分。经观察，通过“有风否 ”这个属性值，可将该样本子集进一步划分成{4,5,10}(无风，前往游乐场)和{6,14}(有风，不前往游乐场)两个样本子集。此时这两个样本子集已被划分为两类，不需要再划分。 “温度”是多余的特点 图2.4.1游乐场游玩问题决策树 如何判断某一天游客是否会来游乐场游玩？ 天气、温度、湿度 2.4.1决策树分类概念 建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每个样本为同一个类别。 2.4.2构建决策树 构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度”会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属性，可以采用信息增益(informationgain)这一指标。 信息增益被用来衡量样本集合复杂度(不确定性)所减少的程度。 香农提出了“信息熵”(entropy)的概念，用来度量信息量的大小。直觉上而言，对一个不确定的信息(很少出现)的了解需要更多的信息。相反，如果对某件事已经有了较多了解，就不需要太多信息了。从信息论的角度来看，对信息的度量等于计算信息不确定性的多少。 2.4.2构建决策树 “假设有K个信息，其组成了集合样本D，记第k个信息发生的概率为pk(1≤k≤K)”。如下定义这K个信息的信息熵: E(D)值越小，表示D包含的信息越确定，也称D的纯度越高。需要指出，所有pk累加起来的和为1。 2.4.2构建决策树 表2.4.1中14个样本分属于“游客来游乐场 ... ...
