在Statlect上搜索概率和统计术语
统计列克特
指数 > Fundamentals of statistics

逻辑分类快三一定牛(逻辑或逻辑回归)

通过 博士

逻辑分类快三一定牛(或logit快三一定牛)是 binary classification model in which the conditional probability 两种可能之一 realizations of the 假定输出变量等于输入的线性组合 变量,由逻辑函数转换。

目录

分类与回归

Logit快三一定牛通常称为 逻辑回归快三一定牛. 但是,在这些讲义中,我们倾向于遵循惯例 (在机器学习社区中广泛使用)使用术语回归 仅适用于条件快三一定牛,其中输出变量是连续的。所以我们 在这里使用术语分类是因为在logit快三一定牛中输出是 discrete.

型号规格

假设我们观察到一个数据样本 [eq1] for $ i = 1,ldots,N $. 样本中的每个观察值均由以下组成:

假设输出 $ y_ {i} $ 只能接受两个值,即1或0(它是一个 Bernoulli random variable)。

输出的概率 $ y_ {i} $ 等于1,取决于输入 $ x_ {i} $, is assumed to be[eq2]哪里 [eq3]是 后勤职能和 $ eta $ is a Kx1 系数向量。

立即看到物流功能 $ Sleft(t
权)$ 永远是积极的。此外,它还在增加, [eq4]所以 that it satisfies[eq5]

Thus, [eq6] 是一个明确定义的概率,因为它介于0和1之间。

由于概率需要求和为1,因此输出的概率 $ y_ {i} $ 等于0(的唯一其他可能的实现 $ y_ {i} $) is[eq7]

说明

为什么以这种方式指定逻辑分类快三一定牛?为什么是 用于转换输入线性组合的逻辑函数 $ x_ {i} eta $?

简单的答案是,我们希望做与我们所做的类似的事情 in a linear regression model:使用输入的线性组合作为我们的预测 输出。但是,我们的预测必须是一个概率,并且存在 不能保证线性组合 $ x_ {i} eta $ 在0到1之间。因此,我们使用逻辑函数,因为它提供了 方便的转换方式 $ x_ {i} eta $ 并强制其位于0到1之间的间隔内。

我们本可以使用其他函数,这些函数具有类似于 物流功能。实际上,其他流行的分类快三一定牛 可以通过简单地将logistic函数替换为另一个函数来获得 功能,并保持快三一定牛中的其他所有内容不变。例如,通过 将logit函数替换为a的累积分布函数 标准正态分布,我们得到所谓的 probit model.

logit快三一定牛作为潜在变量快三一定牛

考虑logit快三一定牛的另一种方法是定义一个潜在变量 (i.e., an unobserved variable)[eq8]哪里 $ arepsilon _ {i} $ 是一个随机误差项,会在输入之间的关系中增加噪声 $ x_ {i} $ and the variable $ z_ {i} $. The latent variable $ z_ {i} $ 然后假定确定输出 $ y_ {i} $ as follows:[eq9]从 这些假设以及其他假设 $ arepsilon _ {i} $ 左右对称分布 0 it follows that[eq10]哪里 $ Fleft({}
权)$ is the 累积分布 function 的 error $ arepsilon _ {i} $.

事实证明,用于定义logit快三一定牛的logistic函数是 对称概率分布的累积分布函数 称为标准逻辑分布。因此,logit快三一定牛可以是 写为潜变量快三一定牛,由上面的等式(1)和(2)指定, in which the error $ arepsilon _ {i} $ 具有逻辑分布。

通过选择错误的不同分布 $ arepsilon _ {i} $, 我们获得其他二进制分类快三一定牛。例如,如果我们假设 $ arepsilon _ {i} $ 具有标准正态分布,那么我们得到所谓的概率快三一定牛。

通过最大似然估计

系数向量 $ eta $ 通常由 maximum likelihood methods.

假设观察 [eq1] in the sample are IID 和 denote the $尼姆1 $ 所有输出的向量 $ y $ and the $尼姆K $ 所有输入的矩阵 X. 假定后者具有最高等级。

有可能证明(请参阅 Maximum Logit快三一定牛的似然估计)最大可能性 estimator $ widehat {eta} $ (如果存在)可以通过执行简单 Newton-Raphson 迭代如下:

最大似然估计量的渐近协方差矩阵 $ widehat {eta} $ can be 一致估计 by [eq20]所以 估计量的分布 $ widehat {eta} $ 大约等于平均值​​,等于 $ eta $ and covariance matrix [eq21].

假设检验

如果采用最大似然法估算logit快三一定牛 以上说明的任何一种经典 tests 基于最大似然法 (e.g., Wald, Likelihood Ratio, Lagrange Multiplier)可用于 test an hypothesis 关于系数向量 $ eta $.

可以通过利用的渐近正态性来构造其他检验。 最大似然估计。例如,我们可以执行z测试来测试 null hypothesis [eq22]哪里 $ eta _ {k} $ is the k-th 系数向量的输入 $ eta $ and $ qin U {211d} $.

The test statistic is[eq23]哪里 [eq24] is the k-th entry of $ widehat {eta} $ and [eq25] is the k-th 矩阵对角线上的项 [eq26].

As the sample size $ N $ increases, $ z $ 收敛到一个 standard normal distribution。后一种分布可用于 得出临界值 和 perform the test.

证明

我们 have[eq27]通过 最大似然估计器,分子的渐近正态性 [eq28] converges in distribution 具有均值的正常随机变量 0. 此外,我们的渐近协方差估计量的一致性 matrix implies that[eq29]哪里 [eq30] denotes convergence in probability。由 Continuous Mapping theorem, [eq31]和, by Slutsky's theorem, $ z $ 在分布上收敛到标准正态随机变量。

如何引用

请引用为:

Taboga, Marco (2017). "逻辑分类快三一定牛(逻辑或逻辑回归)", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/logistic-classification-model.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。