=Start=

缘由：

对于最近在看其中的一些机器学习相关的内容时，暂时只关心其大致的原理说明和相关对比，对于数学的推导和细节先放到一边，以后如果有机会的话再做了解，这里先记录一些（从其它比较好的书籍、文章中）整理出的结论和特点说明，方便快速理解加深印象。

正文：

参考解答：

LDA原理简介

线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法，也就是说数据集的每个样本是有类别输出的。和之前介绍的机器学习-降维算法-PCA不同，PCA是不考虑样本类别输出的无监督学习方法。

LDA的原理简单来说就是将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点会形成按类别区分。而我们的目标就是使得投影后的数据，类间方差最大，类内方差最小。

LDA和PCA的异同点比较

LDA和PCA有很多相同点和不同点，我们来对比看看两者的区别。

相同点：

• 两者均可对数据进行降维。
• 两者在降维时均使用了矩阵特征分解的思想。
• 两者都假设数据符合高斯分布。

不同点：

• LDA是有监督的降维方法，而PCA是无监督的降维方法。
• LDA降维最多降到类别数k-1的维数，而PCA无此限制。
• LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

在不同数据的情况下，LDA和PCA降维方法各有优劣。

LDA算法优缺点总结

LDA优点：

• 在降维过程中可以使用类别的先验知识经验，而PCA这种无监督学习则无法使用类别先验知识。

LDA缺点：

• LDA可能过度拟合数据。
• LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。
• LDA降维最多降到类别数k-1的维数，如果我们降维的维数大于k-1，则不能使用LDA。

参考链接：

• 机器学习降维之线性判别模型(LDA)
  https://blog.csdn.net/XiaoYi_Eric/article/details/86691438
• PCA主成分分析学习总结
  https://zhuanlan.zhihu.com/p/32412043
• LDA线性判别分析
  https://zhuanlan.zhihu.com/p/32658341

=END=