搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

分层贝叶斯模型

经过 ,博士学位

分层贝叶斯模型是一种模型,其先前分配 some of the model parameters depends on 其他参数,也被分配了先前。

目录

定义

鉴于观察到的数据 x, in a hierarchical 贝叶斯 model, 可能性取决于两个参数向量 $ heta $ and $ arphi $ [eq1]和 the prior[eq2]是 通过单独指定条件快三一定牛来指定 [eq3] and the distribution [eq4].

在文献中,通常要求可能性不依赖 $ arphi,$, that is,[eq5]

在这个特殊情况下,参数 $ arphi $ 被称为超参数和之前的 [eq6] 被称为超级先前。

我们使用更广泛的分层模型定义,这不一定 包括假设(1),因为它允许统一处理几个 interesting models.

例子

以下示例说明了两个落在我们内部的两个流行型号 definition.

示例1 - 随机方式

Suppose the sample [eq7]是 a vector of draws [eq8] from n normal distributions 有不同的未知方式 $ mu _ {i} $ 和已知的常见方差 西格玛^ 2.:[eq9]

Denote by 亩 the vector of means: [eq10]

Conditional on 亩, 假设观察结果是 independent. 因此,整个样本的可能性,条件 亩, can be written as [eq11]

现在,假设手段 $ mu _ {i} $ are a sample of IID draws from a normal 快三一定牛与未知的平均值 $ m $ and known variance $ au ^ {2} $, so that[eq12]

最后,我们分配了正常的先前(已知的平均值 $ m_ {0} $ and variance $ u ^ {2} $) 到超参数 $ m $:[eq13]

刚描述的模型是分层模型。使用符号 我们有的定义 $ heta = mu $, $ arphi = m $ 和增加的假设 that[eq14]

实施例2 - 正常平均值和伽玛精度

假设样品 [eq7]是 IID绘制的矢量 [eq8] 从正常快三一定牛从未知的平均值 亩 and unknown variance 西格玛^ 2..

整个样本的可能性,条件 亩 and 西格玛^ 2., is [eq17]

现在,假设平均值 亩 与已知的意思本身正常 $ m $ and variance $sigma ^{2}/
u $, where $
u $ is a known parameter:[eq18]

最后,我们在参数之前分配逆伽马 西格玛^ 2. (i.e., a Gamma distribution 到了 precision $ 1 / sigma ^ {2} $):[eq19]在哪里 k and $ h $ 是伽玛快三一定牛的两个参数。

这是一个非常流行的模型,称为正常逆伽马模型。

它适合上面的分层模型的定义 $ heta = mu $, [eq20].

计算

后部快三一定牛的计算通常在步骤中执行: first $ arphi $ 按照给定,以及条件快三一定牛 $ heta $ 是衍生的;然后是一个后部 $ arphi $ is computed.

步骤如下。

  1. Conditional on $ arphi $ (即,通过保持固定),计算:

    1. 之前的预测分配 x:[eq21]

    2. 后部快三一定牛 $ heta $: [eq22]

  2. By using [eq23] 从步骤1,计算:

    1. 之前的预测分配 x:[eq24]

    2. 后边缘快三一定牛 $ arphi $:[eq25]

  3. 计算后关节快三一定牛 $ arphi $ and $ heta $: [eq26]

  4. 计算后边缘快三一定牛 $ heta $:[eq27]

当我们无法执行派生所需的集成时 预测快三一定牛,或者当我们无法计算出后部 Bayes' rule, 然后我们 可以使用其他计算方法(例如,分解方法 在讲座中说明了 Bayesian inference)。在这些情况下,上述过程的步骤仍然有效: 我们首先派生出来的后验和预测快三一定牛 $ arphi $, 通过使用任何方法可供我们使用;然后,我们使用 conditional distributions 由此衍生成计算后部 $ arphi $.

超过两个级别

在上面的定义中,只有两个级别:参数 $ heta $ 和一个超参数 $ arphi $.

该定义可以推广到两个以上的级别。例如,我们 可以有第三个参数 $ zeta $, the likelihood [eq28]和 the prior[eq29]哪个 通过单独指定条件快三一定牛来指定 [eq30], [eq31] and the distribution [eq32].

计算策略与两个以上的级别相似 在上一节中说明。首先,我们采取所有参数,但一个参数 给出,我们派生了先前的预测分配 x, 有条件地保持所固定的参数。然后,我们使用 如此获得的预测快三一定牛为可能,并且我们使用它来获得 另一个先前的预测分配 x, 条件在比上一步中较少的参数。和 so on.

如何引用

请引用:

Taboga, Marco (2017). "分层贝叶斯模型", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/fundamentals-of-statistics/Hierarchical-Bayesian-models.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。