搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

OLS估计的属性

经过 ,博士学位

在讲座中题为 Linear regression,我们引入了OLS(普通最小二乘)的估计 线性回归模型的系数。在这个讲座中,我们讨论 假设OLS估计估计享有理想的统计特性 如一致性和渐近常态。

目录

环境

考虑线性回归 model[eq1]

输出表示的情况下 $ y_ {i} $, the associated $ 1 k $ 输入的向量表示 $ x_ {i} $, the Kx1 回归系数的矢量表示 $ eta $ and $ arepsilon _ {i} $ 是不可观察的错误术语。

我们假设观察一个样本 $ n $ 实现,使所有输出的向量

[eq2]是 an $尼姆1 $ vector, the design matrix[eq3]是 an $尼姆k $ 矩阵和误差矢量 terms[eq4]是 an $尼姆1 $ vector.

The OLS estimator $ widehat {eta} $ 是回归系数的矢量,最小化平方的总和 residuals:[eq5]

已被证明在题为题为题为 Linear regression,如果设计矩阵 X 具有完整等级,然后将OLS估计器计算为 follows:[eq6]

一致性

在本节中,我们将提出一系列条件 sufficient for the consistency of OLS estimators.

请注意,OLS估计器可以写为 [eq7]在哪里 [eq8]是 the sample mean 的 the $ kimes k $ matrix $ x_ {i} ^ {op} x_ {i} $ and [eq9]是 样本的平均值 Kx1 matrix $ x_ {i} ^ {op} y_ {i} $.

我们制作的第一个假设是这些样本意味着汇合到他们的 人口同行,如下形式化。

假设1(收敛):序列都是 [eq10] and the sequence [eq11] 满足足够的条件集 概率融合 他们的样本意味着 对人口意味着 [eq12] and [eq13], 哪些不依赖 i.

例如,序列 [eq14] and [eq15] 可以假设满足条件 Chebyshev的大量规律 correlated sequences,这非常温和(基本上,只需要 序列是 协方差静止 and 他们的自助协商会平均为零)。

我们制作的第二个假设是一个排名假设(有时也称为 识别假设)。

假设2(等级):方形矩阵 [eq16] 有全级别(因此,它是可逆的)。

我们制作的第三个假设是回归器 $ x_ {i} $ 与错误术语正交 $ arepsilon _ {i} $.

假设3(正交性):每一个人 i, $ x_ {i} $ and $ arepsilon _ {i} $ are orthogonal, that is,[eq17]

然后简单地证明以下命题。

主张 如果满足假设1,2和3,则OLS估计器 $ widehat {eta} $ 是一致的估计 $ eta $.

证明

让我们明确依赖 样本大小的估计器并表示 [eq18] 当样本大小等于时获得的OLS估计器 $ N. $ 假设1和由此 Continuous Mapping theorem,我们有概率限制 [eq19] is [eq20]现在, 如果我们预先乘以回归 equation[eq1]经过 $ x_ {i} ^ {op} $ 我们采取了预期的价值观,我们 get[eq22]但 by Assumption 3, it becomes[eq23]或者[eq24]哪个 implies that[eq25]

渐近常态

在本节中,我们将讨论一个条件,以及 假设1-3以上,足以用于OLS的渐近常态 estimators.

条件如下。

假设4(中央限制定理): 序列 [eq26] 满足一系列足以保证中央的条件 限制定理适用于其样本 mean[eq27]

审查可以在序列上施加的一些条件 保证中央限位定理适用于其样本意味着,您可以 题为题为有权的讲座 Central Limit Theorem。无论如何,请记住,如果将中央限制定理适用于 [eq26], then, as $ n $ tends to infinity,[eq29] converges in distribution 到A. multivariate normal distribution with mean equal to 0 和协方差矩阵相等 to[eq30]

假设4到位,我们现在能够证明渐近常态 OLS估计。

主张 如果满足假设1,2,3和4,则OLS估计器 $ widehat {eta} $ 是渐近的多变量正常,意味着等于 $ eta $ 和渐变协方差矩阵相等 to[eq31]那 is,[eq32]在哪里 V 已经在上面定义。

证明

正如一致性证明, 估计器对样本大小的依赖性明确,因此 OLS估计器用来表示 [eq33]. 首先,我们有 [eq34]在哪里, 在最后一步中,我们使用了这一事实,通过假设3, [eq35]. 注意,通过假设1和连续映射定理,我们 have[eq36]此外, 假设4,我们有 that[eq37]汇聚 分布到多元正常随机向量,其平均值等于 0 和协方差矩阵等于 V. 因此,由Slutski的定理,我们有 that[eq38]汇聚 分布到多元常规矢量,平均等于 0 和协方差矩阵等于 [eq39]

估计误差项的方差

我们现在做出进一步的假设。

假设5.: 序列 [eq40] 满足一系列足以融合的条件 样本的概率 mean[eq41]到 the population mean [eq42]哪个 does not depend on i.

如果满足此假设,则错误术语的方差 西格玛^ 2. 可以通过样本方差估算 residuals[eq43]在哪里 [eq44]

主张 在假设1,2,3和5下,可以证明这一点 [eq45] 是一致的估计 西格玛^ 2..

证明

让我们明确依赖 样本大小的估算器并表示 [eq46] and [eq47] 当样本大小等于时获得的估计器 $ N. $ 假设1和由此 Continuous Mapping theorem,我们有概率限制 [eq47] is [eq49]在哪里: in steps $ rame {a} $ and $ rame {c} $ 我们使用了定理;在步骤中 $ rame {b} $ 我们使用过5;在步骤中 $ rame {d} $ 我们已经使用了这个事实 [eq50]因为 [eq51] 是一致的估计 $ eta $, as proved above.

渐近协方差矩阵的估计

我们证明了OLS估计的渐近协方差矩阵 is[eq52]在哪里 长期协方差矩阵 V is defined by[eq53]

Usually, the matrix [eq54] 需要估计,因为它取决于数量 (V and [eq16]) 不知道。下一个命题表征了一致的估计 of [eq56].

主张 如果满足假设1,2,3,4和5,并且是一致的估计器 $ widehat {v} $ 长期协方差矩阵 V 可用,然后OLS估计器的渐近方差是 始终如一 by[eq57]

证明

这被证明是如此 follows[eq58]在哪里: in step $ box {a} $ 我们使用了定理;在步骤中 $ box {b} $ 我们使用了假设 $ widehat {v} $ 是长期协方差矩阵的一致估计 V 并且,事实上,通过假设1,矩阵的样本均值 $ x_ {i} ^ {op} x_ {i} $ 是一致的估计 [eq59], that is$ qtr {rm} {,} $[eq60]

因此,为了获得协方差矩阵的一致估计 OLS估计器,我们需要找到长期的一致估计 covariance matrix V. 如何在下一节中讨论此操作。

估计长期协方差矩阵

The estimation of V 在序列的条款之间需要一些关于CoviRA的假设 [eq61].

在提供这种假设的一些例子之前,我们需要以下内容 fact.

主张 在假设3和4下,长期协方差矩阵 V satisfies[eq62]

证明

这被证明是如此 follows:[eq63]

我们从限制性的假设开始。

假设6.: $ arepsilon _ {i} $ is orthogonal to $ arepsilon _ {j} $ for any $i
eq j$, and [eq64] is uncorrelated with $ x_ {i} ^ {op} x_ {j} $ for any i and $ j $.

这种假设具有以下含义。

主张 如果满足假设1,2,3,4,5和6,则长期协方差 matrix V 一直估计 by[eq65]

证明

首先,我们有 that[eq66]但 我们知道,通过假设1, [eq67] 一直估计 by[eq68]和 假设1,2,3和5, [eq69] 一直估计 by[eq70]所以, 通过连续映射定理,长期协方差矩阵 V 始终如一地估计 [eq71]

请注意,在这种情况下,OLS估计器的渐近协方差矩阵 is[eq72]

结果,OLS估计器的协方差可以近似 by[eq73]哪个 是相同的估计者衍生在 normal 线性回归模型.

我们现在考虑假设比假设6弱。

假设6B.: [eq74] is uncorrelated with [eq75] for any $i
eq j$. Furthermore, [eq76] does not depend on i 并始终如一的样本估计 mean[eq77]

这种假设具有以下含义。

主张 如果满足假设1,2,3,4,5和6b,则长期 covariance matrix V 一直估计 by[eq78]

证明

首先,我们有 that[eq79]此外,[eq80]在哪里 在最后一步中,我们分别应用了连续映射定理 在方括号中的每个矩阵的每个条目都与事实一起 [eq81]到 看看这是如何完成的,考虑,例如, matrix[eq82]然后, 其交汇处的条目 k - row and $ l $ - column is[eq83][eq84]

上面的假设甚至可以使得较弱(例如,通过放松 hypothesis that [eq74] is uncorrelated with [eq86]), 在估计长期协方差方面面临更困难的成本 矩阵。审查可用于估计的方法 $ widehat {v} $, 参见,例如,Den和Levin(1996)。

假设检验

The lecture entitled Linear 回归 - 假设检测 讨论如何执行 hypothesis tests 在上面讨论的情况下线性回归模型的系数, 也就是说,当OLS估计器是渐近正常的并且一致 可提供渐变协方差矩阵的估计。

参考

Haan,Wouter J. Den,Andrew T. Levin(1996)。 “来自参数的推论 和非参数协方差矩阵估算程序。“技术工作 Paper Series, NBER.

如何引用

请引用:

Taboga, Marco (2017). "OLS估计的属性", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/OLS-estimator-properties.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。