搜索Statlect上的概率和统计信息
统计 章程
指数 > Asymptotic theory

蒙特卡罗方法

经过 ,博士学位

Monte Carlo方法是一种计算方法,包括使用a 来自给定概率分布的计算机生成的样本产生a plug-in estimate 的 some 给定分布的特征(例如,例如a moment 或者 a quantile )。

在下面的情况下,我们往往将参考即插即同原则。如果你 不熟悉这个概念,建议你先阅读讲座 entitled Plug-in principle.

目录

蒙特卡罗近似值

Let X 是一个随机变量 分配功能 [eq1] 并假设我们可以生成(通过计算机)样本 [eq2] 的 realizations of n random variables X_1, ...,  X_N. 所有都有分发功能  $ f_ {x} $ .

Denote by [eq3]a 分发的特征  $ f_ {x} $ (例如,它的平均值,其方差或其中的一个量级)。

Denote by [eq4] the empirical distribution 的 the sample  $ xi _ {n} $ (即,分配概率的概率分布 $1/n$ 每个值的每个值 [eq5] )。

Then, the plug-in estimate[eq6] 是 a 蒙特卡罗近似值 of [eq7].

换句话说,这个功能 [eq7] 原始分发的近似值由相同的特征近似 [eq9] 计算机生成样本的实证分布。

例子 Let X 是具有分发功能的随机变量  $ f_ {x} $ and let [eq10] 是一个功能。假设我们想要近似 [eq11] 在哪里 我们已经写了预期的价值  g(x) 作为一个riemann-stieltjes积分(参见题为有权的讲座 Expected value ) 在 为了突出显示它取决于分发功能的事实  $ f_ {x} $ . 现在,假设我们有一个计算机生成的样本 n draws  $ x_ {1} $ , ...,  $ x_ {n} $ 从分布  $ f_ {x} $ . 表示他们的经验分布功能  $ f_ {n} $ . 然后,蒙特卡罗近似 [eq12] is[eq13] 在哪里 我们使用了实证分布的事实  $ f_ {n} $ 是离散的,并且离散随机变量的预期值是 它可以采用的值的加权总和,权重等于它们各自 概率(在这种情况下,重量都等于 $1/n$ )。换句话说,我们可以近似预期的价值 [eq14] 使用计算机生成的抽取样本的样本 [eq15].

蒙特卡罗集成

当Monte Carlo方法用于近似预期值时(如 前面的示例),然后调用该方法 蒙特卡洛 integration。它包括近似于a的预期值 random variable X 随着随机绘制的计算机生成的观察样本的平均值 从分布 X:[eq16] 在哪里  $ x_ {1} $ ,......,  $ x_ {n} $ 计算机生成的绘制来自分布 X. If the draws are IID , 然后 Kolmogorov的大量规定适用和近似值 几乎肯定会收敛 [eq17] 作为绘制的数量 n 变大。然而,也可能是绘制不是iid(如, 例如,在所谓的马尔可夫链蒙特卡罗方法中),但是 近似融合无论如何 [eq18] 因为相关序列的大数法则适用(见 lecture entitled 大号法律 为了 more details).

这种近似方法称为Monte Carlo集成,因为 预期的值近似实际上是一个 integral:[eq19] 在哪里 [eq20] 是分布功能 X, 积分是riemann-stieltjes积分。而且,如果 X 是一个连续变量,积分可以写作普通的riemann integral:[eq21] 在哪里 [eq22] is the probability density function of X.

值得注意的是,蒙特卡罗集成的方法是 经常使用当分配功能时 X 在分析上不知道,但是 X 可以作为函数写成 $ gleft(z
Ight)$ of a random vector Z 并且很容易生产计算机生成的绘图 Z. In such a case, n draws  $ z_ {1} $ ,......,  $ z_ {n} $ 是从分布的 Z, 然后转变为 n 从分发中汲取  $ x $ :[eq23] 和 预期的价值 X is approximated by[eq24]

蒙特卡罗集成也用于计算没有的积分 特定的概率解释,但可以作为预期的价值写。 假设要计算的积分 is[eq25] 在哪里 [eq26] 是任何可积累的功能。现在,采取任何 legitimate 概率密度函数 $ fleft(x
Ight)$ such that [eq27] for $ ALEQ XLEQ B $ and [eq28] for $x<a$ or $x>b$. Then we can write[eq29] 在哪里 X 是具有概率密度函数的随机变量 $ fleft(x
Ight)$. 如果我们能够生成计算机生成的绘图样本  $ x_ {1} $ ,......,  $ x_ {n} $ 从分布 X, 然后可以将积分近似为 follows:[eq30]

计算机生成的样本

到目前为止,我们并没有澄清一下计算机生成的意思 从给定分布的抽取样本。虽然我们不会详细介绍, 我们希望突出一些事实。

首先,存在几种允许使用计算机的算法 产生数量序列,称为 伪随机 numbers, 这不是真正随机的,但近似相当好的属性 真正随机序列。如果统计学家观察到的数量序列 这些算法产生的不知道它们是如何生产的,她会 得出结论,它们确实是随机的(即使在进行严谨之后 检查其随机性的统计测试)。查看维基百科的文章 pseudo-random number generators 有更多 details.

第二,最可用的算法,用于产生伪随机的序列 数字产生序列 independent draws from a uniform distribution on the interval $ left [0,1
Ight] $. 然后以某种方式转换这些均匀随机数的这些序列 为了获得从其他分布绘制的序列。例如,如果  $ U $ 是一个具有均匀分布的伪随机数 $ left [0,1
Ight] $ and  $ f_ {x} $ 是可逆的分发功能,然后是 number[eq31] 已 分配功能  $ f_ {x} $ .

证明

我们 have[eq32]

这种从非均匀分布产生伪随机数的方法 is called 逆变换方法。很多其他 存在方法(参见,例如,维基百科的文章 non-uniform 伪随机变化 )。

第三,所有常用的统计软件包包括高效和 彻底测试的伪随机数发生器,用于随机提取 samples from the most important 概率分布。所以,如果你需要观察样本 这些分布来计算蒙特卡罗近似,您需要做的一切 是为了了解如何使用附带的伪随机数生成器 你最喜欢的统计软件。

近似错误

通过近似一定数量的兴趣 [eq7] 与它的蒙特卡罗近似值 [eq9], 我们提出了近似值 error[eq35]

通常,此近似误差的属性(均值,方差, 渐近收敛)取决于插件估计器的特性 [eq36]. 但是,正如在讲座中所指出的那样 plug-in principle , 这些 物业可能很难研究 一般的 terms. 但是,事情相对简单 特定 case 蒙特卡罗集成,即,何时  $ t $ 是一个积分的(预期值)。在这方面 case,[eq37][eq38]

When X_1 ,......,  X_N. 是独立的,并且具有相同的分布 X, then [eq9] 几乎肯定会收敛 [eq40] 通过Kolmogorov的大量规定(提供 [eq41] )。 但这意味着近似误差会收敛到零作为样本 size n 变大。此外,预期的价值和方差 近似误差可以很容易 computed:[eq42]

证明

预期的价值 is[eq43] 和 the variance is[eq44]

从这些公式中,很明显近似误差的方差 可以通过增加样品大小来制作小于所需的 n 计算机生成的样本(以增加计算的成本 近似的强度,即所需的计算机时间和内存 计算近似值)。

还要注意,因为 [eq45] 通常不知道,可以估计 sample variance[eq46] 和 估计近似误差 by[eq47]

最后,让我们提到有几种可以使用的技术 减少蒙特卡罗近似的方差。这些技术是 called variance reduction techniques。这些技术中最受欢迎的一个是 在题为题为题为讲座的讲座 Importance sampling.

如何引用

请引用:

Taboga, Marco (2017). "蒙特卡罗方法", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.enerxy-china.com/asymptotic-theory/Monte-Carlo-method.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。