搜索Statlect上的概率和统计信息
统计 章程
指数 > Fundamentals of statistics > 最大限度 likelihood

最大可能性 - 协方差矩阵快三一定牛

经过 ,博士学位

在讲座中题为 Maximum likelihood 我们已经证明,在某些假设下, 分布最大可能性快三一定牛器 [eq1] 参数的矢量 $ heta _ {0} $ 可以近似a multivariate normal distribution with mean $ heta _ {0} $ and covariance matrix[eq2] 在哪里 [eq3] 是从样品中观察的日志可能性,评估 true parameter $ heta _ {0} $, and the gradient [eq4] 是日志可能性的第一个衍生物的矢量。

Because $ heta _ {0} $ 是未知的,这也是这种协方差矩阵是未知的。我们在这里讨论方法 始终快三一定牛它。

我们在上述讲座中做出了同样的假设。因此对于 example, [eq5] 在哪里 [eq6] 是第一个的实现 n terms of an IID sequence [eq7]. 在这些假设下,我们也有信息平等持有,所以 that[eq8] 在哪里 the Hessian matrix [eq9] 是日志可能性的二阶偏衍生物的矩阵 function.

目录

梯度外产物(OPG)快三一定牛

渐近协方差的第一快三一定牛 matrix[eq10] 是 被称为梯度的外部产品(OPG)快三一定牛和计算 as[eq11] 它 从梯度的事实中获取名字 [eq12] 是一个列向量,它的转置是一排矢量,而且在a之间的产品 列和一行称为外部产品。

提供了一些规律性条件,OPG估算器 $ widehat {v} _ {n} $ 是一致的快三一定牛 V, 也就是说,它会收敛于概率 V.

证明

我们只提供证明和我们的草图 refer the reader to Newey和McFadden(1994年) for 更严格的博览会。提供了一些规律性条件满足 (参见刚刚引用的源),我们之间有以下平等 probability limits:[eq13] 在哪里 [eq14] has been replaced by $ heta _ {0} $ 因为是一个一致的快三一定牛器,它会收敛于概率 $ heta _ {0} $. 因为样本是IID,由此 Law of Large Numbers we have that[eq15] 现在, 协方差矩阵的公式(参见题为有权的讲座 Covariance matrix) yields[eq16] 但 梯度评估的预期值 $ heta _ {0} $ is 0, so that[eq17] 因此, [eq18] 因为 矩阵反转是连续的,由此 Continuous Mapping theorem we have [eq19] 哪个 正是我们需要证明的结果。

赫森快三一定牛

渐近协方差的第二次快三一定牛 matrix[eq20] 是 被称为黑森州的快三一定牛,它是计算的 as[eq21]

在一些规律性条件下,黑森州的快三一定牛 $ widetilde {v} _ {n} $ 也是一致的快三一定牛 V.

证明

再次,我们没有提供完全 严格的证明(您可以看到 Newey and McFadden - 1994)我们只有一个草图主步骤。首先,下面 我们有一些规律性的条件 that[eq22] 在哪里 [eq23] has been replaced by $ heta _ {0} $ 因为是一个一致的快三一定牛器,它会收敛于概率 $ heta _ {0} $. 现在,由于样本是IID,我们拥有的大量法 that[eq24] 经过 信息平等,我们 have[eq25]所以,[eq26] 因为 矩阵反转是连续的,通过我们拥有的连续映射定理 [eq27] 哪个 我们需要证明的是什么。

三明治快三一定牛

渐近协方差的第三快三一定牛 matrix[eq28] 是 被称为三明治快三一定牛,它是计算的 as[eq29] 在哪里 $ widehat {v} _ {n} $ 是opg快三一定牛和 $ widetilde {v} _ {n} $ 是黑森州的快三一定牛。

还有三明治快三一定牛 [eq30] 是一致的快三一定牛 V.

证明

这再次是一个后果 Continuous Mapping theorem:[eq31] 在哪里 最后的平等遵循了OPG和Hessian的一致性 estimators.

参考

Newey,W. K.和D. McFadden(1994)“第35章:大 样本快三一定牛和假设检测“,在 Handbook of Econometrics,elewsvier。

如何引用

请引用:

Taboga, Marco (2017). "最大可能性 - 协方差矩阵快三一定牛", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/maximum-likelihood-covariance-matrix-estimation.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。