机器学习-奇异值分解SVD


=Start=

缘由:

对于最近在看其中的一些机器学习相关的内容时,暂时只关心其大致的原理说明和相关对比,对于数学的推导和细节先放到一边,以后如果有机会的话再做了解,这里先记录一些(从其它比较好的书籍、文章中)整理出的结论和特点说明,方便快速理解加深印象。

正文:

参考解答:
摘要

SVD(Singular Value Decomposition, 奇异值分解)是线性代数中既优雅又强大的工具,它揭示了矩阵最本质的变换。使用SVD对矩阵进行分解,能得到代表矩阵最本质变化的矩阵元素。这就好比一个合数能表示为若干质数之积,分解合数能得到表示该合数的质因数;复杂周期信号可以表示为若干简单的正弦波和余弦波之和,使用傅里叶变换能得到表示该信号的简单波;复杂矩阵所代表的线性变换可由若干个简单矩阵所代表的线性变换组合起来,使用SVD能找到这些简单矩阵。

SVD的具体应用

除了前文所述,SVD揭示了矩阵进行线性变换时最本质的变换,使我们能了解矩阵的具体操作,这是SVD最直接的应用。除此之外,SVD还有许多其他方面的应用,下面举例说明.

压缩

许多存储在计算机中的数据都是以矩阵的形式存在的,进行合理的矩阵压缩能把存储矩阵所占的空间缩减下来。例如图像,事实上一个灰度图像就是一个矩阵,矩阵中的每个元素就是灰度图像的像素值.

降维

数据降维在机器学习,数据挖掘等领域是一个重要的技术,通过数据降维可以挖掘数据的关键信息,降低运算的成本。使用SVD进行降维的核心思想是,通过对feature向量(如机器学习中的数据向量)所组成的矩阵X进行分解,可直接得到降维后的feature向量矩阵,这其实就是PCA(主成分分析, Principal component analysis)的过程。

参考链接:

=END=


发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注