机器学习-降维算法-LDA

=Start=

缘由:

对于最近在看其中的一些机器学习相关的内容时,暂时只关心其大致的原理说明和相关对比,对于数学的推导和细节先放到一边,以后如果有机会的话再做了解,这里先记录一些(从其它比较好的书籍、文章中)整理出的结论和特点说明,方便快速理解加深印象。

正文:

参考解答:
LDA原理简介

线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法,也就是说数据集的每个样本是有类别输出的。和之前介绍的机器学习-降维算法-PCA不同,PCA是不考虑样本类别输出的无监督学习方法。

LDA的原理简单来说就是将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点会形成按类别区分。而我们的目标就是使得投影后的数据,类间方差最大,类内方差最小。

LDA和PCA的异同点比较

LDA和PCA有很多相同点和不同点,我们来对比看看两者的区别。

相同点:

  • 两者均可对数据进行降维。
  • 两者在降维时均使用了矩阵特征分解的思想。
  • 两者都假设数据符合高斯分布。

不同点:

  • LDA是有监督的降维方法,而PCA是无监督的降维方法。
  • LDA降维最多降到类别数k-1的维数,而PCA无此限制。
  • LDA选择分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向。

在不同数据的情况下,LDA和PCA降维方法各有优劣。

LDA算法优缺点总结

LDA优点:

  • 在降维过程中可以使用类别的先验知识经验,而PCA这种无监督学习则无法使用类别先验知识。

LDA缺点:

  • LDA可能过度拟合数据。
  • LDA不适合对非高斯分布样本进行降维,PCA也有这个问题。
  • LDA降维最多降到类别数k-1的维数,如果我们降维的维数大于k-1,则不能使用LDA。
参考链接:

=END=

声明: 除非注明,ixyzero.com文章均为原创,转载请以链接形式标明本文地址,谢谢!
https://ixyzero.com/blog/archives/4503.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注