万维百科

回归分析本文重定向自 回归分析

简单线性回归分析的例子

回归分析(英语:Regression Analysis)是一种统计学上分析数据的方法,目的在于了解两个或多个变量间是否相关、相关方向与强度,并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。更具体的来说,回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。一般来说,通过回归分析我们可以由给出的自变量估计因变量的条件期望。

回归分析是建立因变量(或称依变量,反因变量)与自变量(或称独变量,解释变量)之间关系的模型。简单线性回归使用一个自变量复回归使用超过一个自变量()。

起源

回归的最早形式是最小二乘法,由1805年的勒让德(Legendre)[1],和1809年的高斯(Gauss)出版[2]。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道(主要是彗星,但后来是新发现的小行星)的问题。 高斯在1821年发表了最小二乘理论的进一步发展[3],包括高斯-马尔可夫定理的一个版本。

“回归”一词最早由法兰西斯·高尔顿(Francis Galton)所使用[4][5]。他曾对亲子间的身高做研究,发现父母的身高虽然会遗传给子女,但子女的身高却有逐渐“回归到中等(即人的平均值)”的现象。不过当时的回归和现在的回归在意义上已不尽相同。

在1950年代和60年代,经济学家使用机械电子桌面计算器来计算回归。在1970年之前,它有时需要长达24小时从一个回归接收结果[6]

回归分析原理

  • 目的在于找出一条最能够代表所有观测资料的函数曲线(回归估计式)。
  • 用此函数代表因变量和自变量之间的关系。

参数估计

回归模型

回归模型主要包括以下变量:

  • 未知参数,记为,可以代表一个标量或一个向量
  • 自变量
  • 因变量

回归模型将和一个关于的函数关联起来。

在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。

这个估计值通常写作:

在进行回归分析时,函数的形式必须预先指定。有时函数的形式是在对关系的已有知识上建立的,而不是在数据的基础之上。如果没有这种已有知识,那么就要选择一个灵活和便于回归的的形式。

假设现在未知向量的维数为k。为了进行回归分析,必须要先有关于的信息:

  • 如果以的形式给出了个数据点,当时,大多数传统的回归分析方法都不能进行,因为数据量不够导致回归模型的系统方程不能完全确定
  • 如果恰好有个数据点,并且函数的形式是线性的,那么方程能精确求解。这相当于解一个有个未知量和个方程的方程组。在线性无关的情况下,这个方程组有唯一解。但如果是非线性形式的,解可能有多个或不存在。
  • 实际中的情况占大多数。这种情况下,有足够的信息用于估计一个与数据最接近的值,这时当回归分析应用于这些数据时,可以看作是解一个关于的超定方程。

在最后一种情况下,回归分析提供了一种完成以下任务的工具: ⒈找出一个未知量的解使因变量的预测值和实际值差别最小(又称最小二乘法)。

⒉在特定统计假设下,回归分析使用数据中的多余信息给出关于因变量和未知量之间的关系。

回归分析的种类

简单线性回归

简单线性回归英语Simple linear regression(英语:simple linear regression

  • 应用时机
  1. 以单一变量预测
  2. 判断两变量之间相关的方向和程度

复回归(或多变量回归)

复回归分析(英语:multiple regression analysis)是简单线性回归的一种延伸应用,用以了解一个依变项与两组以上自变项的函数关系。

对数线性回归

对数线性回归英语Log-linear model(英语:Log-linear model),是将解释变项(实验设计中的自变项)和反应变项(实验设计中的依变项)都取对数值之后再进行线性回归,所以依据解释变项的数量,可能是对数简单线性回归,也可能是对数复回归。

非线性回归

对数几率回归

对数几率回归(英语:Logistic Regression

偏回归

偏回归英语Partial Regression(英语:Partial Regression

自回归

自回归滑动平均模型

差分自回归滑动平均模型

向量自回归模型

参阅

参考资料

  1. ^ A.M. Legendre. Nouvelles méthodes pour la détermination des orbites des comètes页面存档备份,存于互联网档案馆), Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.
  2. ^ C.F. Gauss. Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum. (1809)
  3. ^ C.F. Gauss. Theoria combinationis observationum erroribus minimis obnoxiae页面存档备份,存于互联网档案馆). (1821/1823)
  4. ^ Mogull, Robert G. Second-Semester Applied Statistics. Kendall/Hunt Publishing Company. 2004: 59. ISBN 0-7575-1181-3.
  5. ^ Galton, Francis. Kinship and Correlation (reprinted 1989). Statistical Science (Institute of Mathematical Statistics). 1989, 4 (2): 80–86. JSTOR 2245330. doi:10.1214/ss/1177012581.
  6. ^ Rodney Ramcharan. Regressions: Why Are Economists Obessessed with Them? March 2006. Accessed 2011-12-03.

外部链接

  1. 解读回归分析的原理及结构



本页面最后更新于2021-05-26 14:21,点击更新本页查看原网页。台湾为中国固有领土,本站将对存在错误之处的地图、描述逐步勘正。

本站的所有资料包括但不限于文字、图片等全部转载于维基百科(wikipedia.org),遵循 维基百科:CC BY-SA 3.0协议

万维百科为维基百科爱好者建立的公益网站,旨在为中国大陆网民提供优质内容,因此对部分内容进行改编以符合中国大陆政策,如果您不接受,可以直接访问维基百科官方网站


顶部

如果本页面有数学、化学、物理等公式未正确显示,请使用火狐或者Safari浏览器