北京大学生物信息平台论坛

 找回密码
 立即注册
搜索
热搜: 通知 活动

线性回归的方差分解

[复制链接]
licheng 发表于 2015-12-25 12:48:13 | 显示全部楼层 |阅读模式
From: Cheng Li
Date: 2014-11-21 14:20 GMT+08:00
Subject: 统计学习

附件是今天线性回归方差分解的推导结果。

看似简单的统计模型和概念,却包含了许多重要的统计思想,在更复杂的统计模型中都能举一反三(如ANOVA方差分析)。我们如果能比其他生物信息的同学多理解一层(比如方差分解是什么意思和怎么来的),会帮助学习更复杂的统计方法,使用统计方法时也会更有经验、更可能从数据中得到正确的结论,比如检查线性回归模型用在某一个数据上是否合理。所以我强调一定要理解了
重要的细节后再往下学,统计上理解的一个标志就是自己能推导一遍。


【张帆】我把李老师的证明用mathtype誊了一遍。
维基百科ESS的条目里有相关的证明 https://en.wikipedia.org/wiki/Explained_sum_of_squares


【Cheng】不错,颜色用的很有创意。
这个推导主要是把y的样本方差TSS(的n-1倍)分解成了通过线性模型由x预测的y_hat值的方差ESS(y和y_hat均值相等),加上RSS(没能预测好的部分)。所以R^2叫做模型能解释的数据中的(y的)差异(variation)的比例(ESS/TSS),它越大表明模型越好(在模型参数数量相同的情况下),我们对变量之间的关系(和客观世界)的理解就越深入。许多统计模型都蕴含类似的方差分解的目标,包括ANOVA和PCA。

张帆 proof_of_ls.pdf

310.99 KB, 下载次数: 321

回复

使用道具 举报

北京大学生物信息平台论坛

GMT+8, 2017-11-18 20:13 , Processed in 0.088691 second(s), 26 queries .

Powered by Discuz! X3

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表