搜索Statlect上的概率和统计信息
统计 章程
指数 > Matrix algebra

正交投影

经过 ,博士学位

矢量的正交投影  $ s $ 在给定的子空间上  $ r $ is the vector  $ rin r $ that is closest to  $ s $ .

目录

基本概念

在解释正交预测之前,我们将修改一些 important concepts.

Let  $ s $ be a 向量 space。请记住 two vectors  $ s $ and  $ r $ belonging to  $ s $ 他们是正交的 inner product is zero:[eq1]

Let  $ r $ be a subspace of  $ s $ . The 正交补充 of  $ r $ , denoted by $ r ^ {ot} $ , 是令人满意的独特子空间 [eq2]

The two subspaces  $ r $ and $ r ^ {ot} $ are complementary subspaces, 意思是 that[eq3] 在哪里  $ oplus $ denotes a direct sum 。 由这件事 直接和总和,任何载体的属性  $ sin s $ 可以是唯一的书面 as[eq4] 在哪里  $ rin r $ and $ tin r ^ {ot} $.

定义

我们现在可以定义正交投影。

定义 Let  $ s $ 是一个线性空间。让  $ r $ be a subspace of  $ s $ and $ r ^ {ot} $ 其正交的补充。让  $ sin s $ with its unique decomposition[eq5] 在 which  $ rin r $ and $ tin r ^ {ot} $. Then, the vector  $ r $ 被称为正交投影  $ s $ onto  $ r $ and it is denoted by [eq6].

因此,正交投影是所谓的特殊情况 oblique projection,这是 定义如上所述,但没有要求互补子空间 of  $ r $ 是一个正交的补充。

例子 Let  $ s $ be the space of $ 3 $ 1 $ column vectors. Define[eq7] 它的 正交补充 is[eq8] 作为 我们可以通过检查传染媒介来轻松验证 $ r ^ {ot} $ 与两种向量正交  $ r $ . Now, consider the vector[eq9] 然后, [eq10]

正交投影最小化距离

两个矢量之间的距离由 norm 的 their difference.

It turns out that [eq11] is the vector of  $ r $ that is closest to  $ s $ .

主张 Let  $ s $ be a finite-dimensional vector space. Let  $ r $ be a subspace of  $ s $ . Then, [eq12] 为了 any  $ rin r $ .

证明

自从 [eq13] 在哪里 $ tin r ^ {ot} $, the vector [eq14] belongs to $ r ^ {ot} $ 并且,结果,与属于的任何载体正交  $ r $ , including the vector [eq15]. Therefore, [eq16] 在哪里 in step  $ rame {a} $ we have used Pythagoras' theorem. 通过采用双方的平方根,我们获得了规定的结果。

投影矩阵

Suppose that  $ s $ is the space of Kx1 complex vectors and  $ r $ is a subspace of  $ s $ .

通过讲座中的结果表明 projection matrices (that are 适用于倾斜预测,因此,对于正交的特殊情况 投影),存在投影矩阵  $ p_ {r} $ such that[eq17] 为了 any  $ sin s $ .

投影矩阵 is[eq18] 在哪里:

在正交投影的情况下,上述公式变得更简单。

主张 Let  $ s $ 是复杂的空间 Kx1 vectors. Let  $ r $ be a subspace of  $ s $ . Let  $ b_ {r} $ 是一个矩阵,其列形成基础  $ r $ . Denote by $ b_ {r} ^ {st} $ the conjugate transpose of  $ b_ {r} $ . Then, the matrix [eq19] 投影矩阵是这样的 [eq20] 为了 any  $ sin s $ .

证明

我们选择列 $ b_ {r ^ {ot}} $ 以这样的方式形成一个 orthonormal basis for $ r ^ {ot} $ . 因此,如在统一矩阵的讲座中解释的(见 section on 非平方矩阵与 orthonormal columns ), 我们 have[eq21] 在哪里 [eq22] 表示共轭转换 $ b_ {r ^ {ot}} $. 而且,自列的列  $ b_ {r} $ 与柱子正交 $ b_ {r ^ {ot}} $, we have[eq23][eq24] 这 columns of  $ b_ {r} $ 由于它们形成基础,因此是线性独立的。因此, $B_{R}x
eq 0$ for any $x
eq 0$, which implies that [eq25] for any $x
eq 0$. Thus, $ b_ {r} ^ {st} b_ {r} $ 是全级别(因此可逆)。我们使用这些结果来派生以下内容 equality: [eq26] 哪个 意味着,通过定义 inverse matrix, that[eq27] 因此, [eq28]

当我们将注意力限制在真正的载体上时,共轭转子变为 简单的换位和投影矩阵的公式 becomes[eq29] 哪个 可能熟悉先前处理过的人 linear regressions 和 the OLS estimator.

正式预测

当矩阵的列  $ b_ {r} $ 是正常的,我们有进一步的简化: [eq30] and [eq31]

Denote by [eq32] the columns of  $ b_ {r} $ .

Then, for any  $ sin s $ , we have[eq33] 哪个 是我们已经已经存在的正常组件上的预测的公式 遇到的讲座 Gram-Schmidt process and on the QR decomposition.

如何引用

请引用:

Taboga, Marco (2017). "正交投影", Lectures on matrix algebra. //www.enerxy-china.com/matrix-algebra/orthogonal-projection.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。