搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics > Maximum likelihood

多元正态分布 - 最大似然估计

经过 ,博士学位

在这个讲座中,我们展示了如何派生 maximum likelihood a的两个参数的估算器 multivariate normal distribution:平均矢量和协方差矩阵。

为了了解推导,您需要熟悉 concept of 痕迹 of a matrix.

目录

环境

假设我们观察第一个 n terms of an IID sequence [eq1] of K - 一维 多变量正常随机载体。

The joint probability density function 的 the $ j $ - term of the sequence is[eq2] where:

协方差矩阵 $ v_ {0} $ 被认为是积极的,所以它的决定因素 [eq3] 严格积极。

We use [eq4], that is, the realizations 的 the first n 随机向量在序列中,估计两个未知的 parameters $ mu _ {0} $ and $ v_ {0} $.

可能性功能

可能性功能 is[eq5]

证明

由于序列中的术语是 independent, 它们的关节密度等于其边际密度的产物。作为一个 结果,可以写入可能性函数 as[eq6]

日志似然函数

The 记录似然函数 is [eq7]

证明

通过服用的日志可能性获得 可能性的自然对数 function:[eq8]

请注意,似然函数才会定义很好 [eq9] 严格积极。这反映了上面的假设 parameter $ v_ {0} $ 是积极的,这意味着寻找最大可能性 estimator of $ v_ {0} $ 仅限于正定矩阵的空间。

为方便起见,我们还可以在术语方面定义日志可能性 precision matrix $ v ^ { -  1} $:[eq10]在哪里 we have used the property of the determinant [eq11]

预备

在得出最大可能性估计器之前,我们需要说明一些事实 关于矩阵,他们的 trace 及其衍生品:

最大可能性估计器

平均值的最大似然估计 covariance matrix are[eq18]

证明

我们需要解决以下最大化 problem [eq19]这 最大订单条件是 [eq20]这 关于平均矢量的日志可能性的梯度是 [eq21]哪个 仅等于零 if[eq22]所以, 这两个一阶条件中的第一个意味着 [eq23]这 对精密矩阵的日志可能性的梯度是 [eq24]经过 将整个表达和设置为等于零,我们 get[eq25]因此, 解决了一阶条件的系统 by[eq26]

信息矩阵

我们现在将为信息矩阵提供公式 多变量正态分布,其将用于衍生渐变 最大似然估计的协方差矩阵。

Denote by $ heta $ the [eq27] column vector of all parameters:[eq28]在哪里 [eq29] converts the matrix V into a $ k ^ {2} IMES 1 $ 列向量,其条目从第一列中取出 V, 然后从第二个,等等。

可以写入来自样本的一个观察的日志可能性 as[eq30]

The information matrix is [eq31]

Define the Kx1 vector[eq32]

Thus:

Define the $ kimes k $ matrix[eq35]

Note that:

可以证明它(参见,例如, Pistone and Malagò 2015)那个 $ left(m,n
Ight)$ - 信息矩阵的元素 is[eq38]

渐近方差

The vector[eq39]是 渐近正常与渐近均值相等 to[eq40]和 asymptotic 协方差 matrix equal to[eq41]

In more formal terms,[eq42] converges in distribution 与零均值的多变量正常分布和 covariance matrix [eq43].

换句话说,矢量的分布 [eq44] 可以通过与平均值的多变量正常分布来近似 $ heta _ {0} $ and covariance matrix[eq45]

参考

猪酮,G.和马格ò, L. (2015) " 信息几何形状 随机优化的高斯分布“诉讼程序 2015年遗传算法XIII,150-162基础的ACM会议。

如何引用

请引用:

Taboga, Marco (2017). "多元正态分布 - 最大似然估计", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/multivariate-normal-distribution-maximum-likelihood.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。