搜索Statlect上的概率和统计信息
统计 章程
指数 > Fundamentals of statistics

高斯马尔可夫定理

经过 ,博士学位

高斯马尔可夫定理说,在某些条件下,普通条件 最小二乘系数的最小二乘(OLS)估计器 linear regression model 是最好的线性无偏见估计(蓝色),即 estimator 那是最小的 variance among those that 在观察到的输出变量中是无偏见和线性的。

目录

假设

The regression model is[eq1] 在哪里:

The OLS estimator of  $ eta $ is [eq2]

We assume that:

  1. X 拥有全级别(因此, $ x ^ {op} x $ is invertible, and $ widehat {eta} $ is well-defined);

  2. [eq3];

  3. [eq4], where I is the  $ n $ identity matrix and  西格玛^ 2. 是一个积极的常数。

ols. 是线性的,无偏见

首先,请注意 $ widehat {eta} $ is linear in  $ y $ . In fact, $ widehat {eta} $ 是产品之间的产品  $ kimes n $ matrix [eq5] and  $ y $ , 矩阵乘法是线性操作。

它很容易证明这一点 $ widehat {eta} $ 无偏见,都是 X, 而不是,那 is,[eq6]

证明

我们可以使用定义  $ y $ 重新写入OLS估计 follows:[eq7] 什么时候 we condition on X, we can treat X 作为恒定矩阵。因此,这是 conditional expectation of $ widehat {eta} $ is [eq8] 这 迭代期望的法则意味着 that[eq9]

最好的意义

现在我们已经表明OLS估计器是线性和无偏的,我们需要 证明它也是 最好 线性无偏估计。

我们究竟是什么意思最好?

When $ widehat {eta} $ 是一个标量(即,只有一个回归线),我们考虑 $ widehat {eta} $ 在我们正在考虑的人中是最好的(即,在所有线性中 无偏见的估算器)如果且仅当它具有最小的方差时, 也就是说,如果它与真实值的偏差  $ eta $ 平均往往是最小的。因此, $ widehat {eta} $ 如果且才有,是最佳的线性无偏见的估计器(蓝色) [eq10] 为了 任何其他线性无偏估计 $ widetilde {eta} $.

由于我们经常处理不止一个的回归,我们必须扩展这个 定义到多变量上下文。我们通过要求这样做 that[eq11] 为了 any  $ 1 k $ constant vector a, 任何其他线性无偏估计 $ widetilde {eta} $.

换句话说,如果只有在任何线性组合时,OLS是蓝色的 OLS比任何其他更精确地估计回归系数 线性无偏估计。

如果且仅当才有时,应满足条件(1) [eq12] 是 正半定矩阵。

证明

我们可以写条件(1) as[eq13] 或者 [eq14] 但 如果才有,后者不平等是真实的 [eq15] 是正半纤维(通过正面半纤维的定义 matrix).

在接下来的两个部分,我们将获得 [eq16] (the covariance matrix OLS估算器),然后我们将证明(2)是 正面半纤维,使OLS是蓝色的。

ols. 估计器的协方差矩阵

OLS估计器的协方差矩阵 is[eq17]

证明

我们已经证明(见上文) 可以写入OLS估计器 as[eq18] 所以, 它的差异 is[eq19]

ols是蓝色的

由于我们正在考虑一组线性估计,我们可以写任何 本集中的估算器 as[eq20] 在哪里  $ C $ is a  $ kimes n $ matrix.

Furthermore, if we define[eq21] 然后 we can write[eq22]

可以证明这一点 $DX=0$ if $ widetilde {eta} $ is unbiased.

证明

我们有 that[eq23] 作为 a consequence, [eq24] is always equal to  $ eta $ only if $DX=0$.

通过使用此结果,我们也可以证明 that[eq25]

证明

证据是 follows:[eq26] 在哪里 in steps  $ rame {a} $ ,  $ rame {b} $ and  $ rame {c} $ 我们已经使用了这个事实 $DX=0$.

As a consequence,[eq27] 是 正半明确,因为 [eq28] 是积极的半定。对于任何无偏的线性估计器,这是正确的 $ widetilde {eta} $. 因此,OLS估计器是蓝色的。

如何引用

请引用:

Taboga, Marco (2017). "高斯马尔可夫定理", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/Gauss-Markov-theorem.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。