(
课件网) 回归分析 1 2 3 回归分析的基本概念 回归分析的参数计算 编程举例说明 备用：深度学习：人工智能 展望与挑战 未来的深度学习 在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某商品的广告投人量与销售量之间的关系等，这种分析不同变量之间存在关系的研究叫回归分析，刻画不同变量之间关系的模型称为回归模型。 一旦确定了回归模型，就可以进行预测等分析工作，如从碳排放量预测气候变化程度、从广告投人量预测商品销售量等。 回归分析 二氧化碳浓度在逐年缓慢增加，→二氧化碳浓度=a*年份+b 设时间年份为x、二氧化碳浓度为y，即y=ax+b。 利用表中8组数据可确定模型中参数a和b的值，一旦求解出a和b的值，输入任意的时间年份(甚至是1970年之前的时间年份)，该模型可估算出该时间年份所对应的二氧化碳浓度值。这种建立变量之间关联关系，且利用这种关联关系进行预测分析的方法叫回归分析。 2.5.1回归分析的概念 监督学习: 利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。 无监督学习: 根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题的过程。 “监督学习”与“无监督学习”区别 在回归分析中，刻画数学关系的模型包含了一些未知参数(如y=ax+b中的参数a和b )这些参数需要从已有数据中计算得到。 那么如何预设一个合理的模型 又如何对模型中的 未知参数进行计算呢 说明：为了简化问题，往往假设模型是符合线性分布 最简单的线性回归模型就是一元线性回归模型，只包含一个自变量x和一个因变量y，并且假定自变量和因变量之间存在如y=ax+b的线性关系。 一元线性回归分析实际上就是寻找“ax+b”形成的一条直线，使得这条直线尽可能靠近或穿过这8组(x,y)数据，即能够以最小的误差来拟合这8组(x,y)数据。 如何计算参数a和b使误差最小化？ 如何表示误差 2.5.2回归分析中参数计算 一旦给定了参数a和b,通过计算ax+b得到的值记为=ax+b，接着计算y和之间差的绝对值|-y|,将这个差的绝对值作为对应的真实值(即y)和模型预测值(即)之间的误差，这个误差通常称为“残差”。 为了计算方便，在实际中一般使用(-y)2而不是|-y|引作为“残差”。这样对于给定的n组(x,y)数据，可用不同的a和b来刻画这n组数据所隐含的y=ax+b关系。对于这些不同的参数，最佳回归模型是最小化残差平方和的均值，即要求n组(x,y)数据得到的残差平均值最小。 从残差的定义可看出，残差平均值最小只与参数a和b有关，最优解即使得残差最小所对应的a和b的值。 2.5.2回归分析中参数计算 可通过最小二乘法(leastsquare)来求解使得残差最小的a和b。 8组(x,y)样本数据点记为(x1,y1),(x2,y2),(x8,y8)，时间年份变量x的平均值记为,因变量y的平均值记为,那么a和b值的计算公式如下: 预测莫纳罗亚山地区二氧化碳浓度的一元线性回归模型为: 二氧化碳浓度=1.5344x时间年份-2698.9，即y=1.5344x-2698.9。 2.5.2回归分析中参数计算 最小二乘法是一种机器学习的优化技术，其将残差平方之和最小化作为目标，找到最优模型来拟合已知的观测数据，使得模型所预测的数据与实际数据之间误差的平方和最小，一般有线性最小二乘法和非线性最小二乘法两种方法。 用线性最小二乘法来解决线性回归模型存在封闭形式(closed-formsolution)唯一解，这个解得到的回归模型使得所有观测数据都在一条直线上或直线附近。非线性最小二乘法需要用数值方法来求解，比如随机梯度下降或者牛顿法等。 拓展链接———最小二乘法 梯度下降:是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Desce ... ...
