搜索Statlect上的概率和统计信息
统计 章程
指数 > Fundamentals of statistics > 最大限度 likelihood

线性回归 - 最大似然估计

经过 ,博士学位

本讲座显示了如何执行最大似然估计 正常线性回归模型的参数,即线性的 回归模型其错误术语通常是分布式条件 regressors.

为了充分了解本讲座中提出的材料,它可能 对修订讲座有用 Maximum 可能性估计 和 on the Normal 线性回归模型.

目录

假设

目标是估计线性回归的参数 model[eq1]

where  $ y_ {i} $ 是依赖变量,  $ x_ {i} $ is a  $ 1 k $ 回归载体,  $ eta _ {0} $ is the Kx1 要估计的回归系数矢量和 $ arepsilon _ {i} $ 是一个不可观察的错误术语。

我们假设我们的样本是由  $ n $ IID observations [eq2].

回归方程可以用矩阵形式写入 as[eq3]

where the  $尼姆1 $ 从属变量的观察矢量表示  $ y $ , the  $尼姆k $ 回归矩阵表示为 X, and the  $尼姆1 $ 错误术语的矢量表示  埃斯利昂 .

我们还假设错误的矢量  埃斯利昂 has a 多变量正态分布 conditional on X, with mean equal to 0 和协方差矩阵相等 to[eq4] 在哪里 I is the  $ n $ identity matrix and [eq5]

Note that also  $ sigma _ {0} ^ {2} $ 是要估计的参数。

此外,假设回归矩阵 X has full-rank.

假设协方差矩阵  埃斯利昂 是对角线意味着条目  埃斯利昂 是相互独立的(即, $ arepsilon _ {i} $ is independent of $ arepsilon _ {j} $ for $i
eq j$ 。)。 而且,它们都有正常分布,平均值 0 and variance  $ sigma _ {0} ^ {2} $ .

By the properties of linear 正常随机变量的转换,我们也有 dependent variable  $ y_ {i} $ 有条件正常,平均值 $ x_ {i} eta _ {0} $ and variance  $ sigma _ {0} ^ {2} $ . Therefore, the conditional 概率密度函数 从属变量是 [eq6]

可能性功能

可能性功能 is[eq7]

证明

由于样本的观察是 独立的,样本的可能性等于产品的乘积 单身的可能性 observations:[eq8]

日志似然函数

日志似然函数是 [eq9]

证明

通过采取自然来获得 可能性的对数 function:[eq10]

最大可能性估计器

回归系数的最大似然估计和 错误术语的方差 are[eq11]

证明

估算器解决了以下内容 maximization problem [eq12] 这 最大的一阶条件是 [eq13] 在哪里 $
abla _{eta }$ 表示相对于的梯度计算  $ eta $ , 也就是说,对数似的部分衍生物的载体 尊重这些参赛作品  $ eta $ . The gradient is [eq14] 哪个 仅等于零 if[eq15] 所以, 如果存在两个方程中的第一个 [eq16] 在哪里 我们使用了假设 X 有完整的等级,并因此是一个  $ x ^ {op} x $ 是可逆的。对日志可能相比的部分导数 the variance is [eq17] 哪个, if we assume $sigma ^{2}
eq 0$, 仅等于零 if[eq18] 因此, 解决了一阶条件的系统 by[eq19] 笔记 that [eq20] does not depend on [eq21], 这样这是一个明确的解决方案。

因此,最大可能性估计器是:

  1. 对于回归系数,通常的OLS估计;

  2. 对于错误术语的方差, unadjusted sample variance of the residuals [eq22].

渐近方差

The vector of parameters[eq23] 是 渐近正常与渐近均值相等 to[eq24] 和 asymptotic 协方差 matrix equal to[eq25]

证明

首先 K 分数矢量的参赛作品 [eq26] are[eq27]$ left(k + 1
Ight)$ - 进入分数矢量 is[eq28] 这 赫森尼亚,即第二衍生物的矩阵,可以写成一个块 matrix [eq29] 让 us compute the blocks:[eq30][eq31] 最后, [eq32] 因此,黑森州 is[eq33] 经过 信息平等,我们有 that[eq34][eq35] 和, 通过迭代法律 Expectations,[eq36] 因此, [eq37] 作为 后果,渐近协方差矩阵 is[eq38]

这意味着参数矢量的概率分布 estimates [eq39] 能够 be approximated by a multivariate normal distribution with mean [eq40] 和 covariance matrix[eq41]

如何引用

请引用:

Taboga, Marco (2017). "线性回归 - 最大似然估计", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/linear-regression-maximum-likelihood.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。