搜索Statlect上的概率和统计信息
统计章程
指数 > Matrix algebra

奇异值分解

经过 ,博士学位

快三一定牛的奇异值分解(SVD)允许分解任何 (不一定是正方形)快三一定牛为三个术语的产物:

  1. a unitary matrix;

  2. 在其主要对角线和零条目上具有正条目的快三一定牛 elsewhere;

  3. 另一个酉快三一定牛。

易于识别两个酉快三一定牛列的列 参与分解具有卓越的财产 柱空间的正式基础和原始空的空间 matrix.

通过使用关于的结果来导出奇异值分解 正定快三一定牛的对角化。因此,我们建议 修改讲座 positive definite matrices 在读这个之前。

目录

分解

这是分解。

主张 Let A be a $ kimes l $ 快三一定牛。然后,存在 $ kimes k $ unitary matrix $ U $ and an $ limes l $ unitary matrix V such that[eq1]在哪里 $ v ^ {st} $ denotes the conjugate transpose of V, Sigma. is a $ kimes l $ matrix such that $ sigma _ {ij} geq 0 $ if $ i = j $ and $ sigma _ {ij} = 0 $ if $i
eq j$.

证明

我们首先观察到 matrix[eq2]是 赫米特尼亚(即,等于其共轭转发),因此 normal 和 unitarily diagonalizable (i.e., unitarily similar to a diagonal 快三一定牛)。而且,对于任何 $ limes 1 $ vector x, we have [eq3]作为 a consequence $ a ^ {st} a $ 是积极的半定,这意味着它 eigenvalues are 真正的非负数。因此,我们可以对角度化 $ a ^ {st} a $ as [eq4]在哪里 V 是一个单一的快三一定牛和 $ d $ 是对角线快三一定牛,使其对角线条目是真正的非负面的 数字。当我们对角度化快三一定牛时,我们可以随意选择订单 这是在对角线上出现的特征值 $ d $. 因此,我们可以以这种方式执行对角化 that[eq5]在哪里 the block $ d_ {1} $ 是一个对角线快三一定牛,具有所有严格正的特征值 $ a ^ {st} a $ 在它的主要对角线上。假设有 $ r $ 严格的正面特征值,即, $ d_ {1} $ is $ rimes r $. Partition V into two blocks:[eq6]在哪里 $ v_ {1} $ is $ rimes r $. By using the rules for 块快三一定牛的乘法, 我们 obtain[eq7]笔记 that[eq8]和 the last equation implies[eq9]作为 结果是列的平方标准 $ av_ {2} $ (这是快三一定牛的主要对角线在左侧的快三一定牛 方程式均为零。因此, [eq10]经过 积极的肯定 norm。定义 $ kimes r $ matrix[eq11]在哪里 $ d_ {1} ^ {1/2} $ 是一个对角线快三一定牛,其对角线条目等于平方根 对角线条目 $ d_ {1} $. Note that [eq12]所以 that the columns of $ u_ {1} $ 是正常的。找到任何 [eq13] matrix $ u_ {2} $ 具有正式列和这样的 that[eq14]在 其他单词,列 $ u_ {2} $ 被选中以便“完成正交基础”,即形成 与柱子一起的正式基础 $ u_ {1} $. 不同地说,柱子 $ u_ {2} $ span the 正交补充 of 列的跨度 $ u_ {1} $. Define[eq15]因此, $ U $ is a unitary matrix. Then,[eq16]经过 预先乘坐双方 $ U $ 并将两侧乘以 $ v ^ {st} $, we obtain[eq17]

对角线条目 Sigma. (i.e., the entries $ sigma _ {II} $ for [eq18]) are called 奇异值 of A.

例子 If[eq19]然后 奇异值是 $2$, $5$ and 1.

例子 Let[eq20]然后, 奇异值是 1, 1 and 0.

例子 If[eq21]然后 奇异值是 $4$, $4$ and $3$.

唯一性

如上证明所示,奇异值分解 A 从对角线化获得 $ a ^ {st} a $. 但对角化并不唯一(如讲座中所讨论的) diagonalization)。 因此,SVD也不是唯一的。

紧凑型SVD

可以获得更紧凑的SVD形式,称为紧凑SVD,为 follows.

主张 Let A be a $ kimes l $ matrix. Let $ r $ be the rank of A. Then, there exist a $ kimes r $ matrix $ u_ {1} $ and an $ rimes r $ matrix $ v_ {1} $, 两个都有正常列,这样 that[eq22]在哪里 $ v_ {1} ^ {st} $ 表示共轭转换 $ v_ {1} $ and $ sigma _ {1} $ is an $ rimes r $ 对角线快三一定牛,主要对角线上的严格正条目。

证明

在这个证据中,我们使用所有快三一定牛 在上述非紧凑SVD的上述证明中定义。注意 $ r $ (即,非零奇异值的数量)是等级 $ d $ 而且,结果也是 A (because multiplication by 全级快三一定牛 $ U $ and $ v ^ {st} $ 不会改变级别 Sigma.)。 We have [eq23]在哪里 we have defined [eq24].

真正的案例

If the matrix A 是真实的(即,所有条目都是真实数字),然后是SVD is[eq25]在哪里 $ U $ and V 是真正的正交快三一定牛(我们只需要替换共轭转换 在SVD的证明中换算简单。

列空间

Let A be a $ kimes l $ matrix and let $ s $ be the space of all $ limes 1 $ column vectors.

Remember that the column space [eq26]A:[eq27]

主张 Let A be a $ kimes l $ matrix. Let $ r $ be the rank of A. Let[eq28]是 an SVD of A such that the $ r $ 非负奇异值 A are the first $ r $ 主要对角线上的条目 Sigma.. Let $ u_ {1} $ 是第一个由第一个形成的块 $ r $ columns of $ U $. Then,[eq29]在哪里 [eq30]A and [eq31]$ u_ {1} $.

证明

这个命题的证明是解决的 Exercise 1 below.

Note that $ u_ {1} $ 快三一定牛是上面紧凑的SVD中出现的快三一定牛。

Since the columns of $ u_ {1} $ 是正常的,它们也是线性的。因此,快三一定牛 $ u_ {1} $ 在紧凑的SVD中暴露了一个 orthonormal basis 为了 the column space of A.

Null space

Remember that the null space [eq32] is the kernel of the linear transformation defined by A:[eq33]

主张 Let A be a $ kimes l $ matrix. Let $ r $ be the rank of A. Let[eq28]是 an SVD of A such that the $ r $ 非负奇异值 A are the first $ r $ 主要对角线上的条目 Sigma.. Let $ v_ {2} $ 是最后一个由最后形成的块 $ l-r $ columns of V. Then,[eq35]在哪里 [eq36] is the null space of A and [eq37]$ v_ {2} $.

证明

这个命题的证明是解决的 Exercise 2 below.

解决练习

下面可以找到一些练习解释的解决方案。

练习1

证明了上述关于列空间的主题 A.

解决方案

假设 [eq38]. 然后,存在一个 $ limes 1 $ vector $ s $ such that[eq39]在哪里 我们使用了紧凑的SVD A. Thus, [eq40] and[eq41]在哪里 [eq42]$ u_ {1} $ (即,列空间 $ u_ {1} $)。 Now, suppose that [eq43]. 然后,存在一个 $ rimes 1 $ vector $ s_ {r} $ such that[eq44]在哪里 我们再次使用了紧凑的SVD A. Hence, [eq45] and [eq46]但 (1) and (2) imply[eq47]

练习2

证明了上述关于空白的主题 A.

解决方案

假设 [eq48]. The columns of $ v_ {1} $ and those of $ v_ {2} $ 共同形成了空间的基础 $ limes 1 $ vectors。结果,存在 $ rimes 1 $ vector $ s_ {1} $ and an [eq49] vector $ s_ {2} $ such that[eq50]我们 可以写方程式 as[eq51]经过 预先乘以等式的两侧 A, we obtain[eq52]因为 [eq53] and $ av_ {2} = 0 $, 如前所述。但 [eq54]因此, we have[eq55]自从 $ u_ {1} $ and $ sigma _ {1} $ 是全级别,最后一个等式 implies[eq56]哪个 in turn implies[eq57]因此, [eq58]. 我们刚刚证明了 that[eq59]现在, suppose that [eq58]. 因此,存在一个 [eq61] vector $ s_ {2} $ such that [eq57]经过 预先乘以等式的两侧 A, we get[eq63]哪个 implies that [eq53]. Thus,[eq65]但 (1) and (2) imply[eq66]

如何引用

请引用:

Taboga, Marco (2017). "奇异值分解", Lectures on matrix algebra. //www.enerxy-china.com/matrix-algebra/singular-value-decomposition.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。