页面树结构

2017-11-09 ApacheCN 开源组织,第二期邀请成员活动,一起走的更远 : http://www.apachecn.org/member/209.html


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

Linear and Quadratic Discriminant Analysis ( 线性和二次判别分析 )

Linear Discriminant Analysis ( 线性判别分析 ) ( discriminant_analysis.LinearDiscriminantAnalysis ) 和 Quadratic Discriminant Analysis ( 二次判别分析 ) ( discriminant_analysis.QuadraticDiscriminantAnalysis ) 是两个经典的分类器,它们的名称分别是线性和二次决策面。
这些分类器是有吸引力的,因为它们具有可以容易地计算的 closed-form solutions ( 封闭形式的解决方案 ) ,本质上是多类的,已被证明在实践中工作良好,并且没有调整的参数。
ldaqda
该图显示了线性判别分析和二次判别分析的决策边界。底线表明线性判别分析只能学习线性边界,而二次判别分析可以学习二次边界,因此更灵活。

示例:

Linear and Quadratic Discriminant Analysis with confidence ellipsoid: Comparison of LDA and QDA on synthetic data.

Dimensionality reduction using Linear Discriminant Analysis ( 使用线性判别分析的维数减少 )

discriminant_analysis.LinearDiscriminantAnalysis 可以用于通过将输入数据投影到由最大化类之间的分离的方向组成的线性子空间(在下面的数学部分中讨论的精确意义上)来执行监督的维数降低。输出的维数必须小于类的数量,所以这通常是相当强的维度降低,并且仅在 multiclass setting ( 多类设置 ) 中产生感觉。

这是在 discriminant_analysis.LinearDiscriminantAnalysis.transform 中实现的。可以使用 n_components 构造函数参数设置所需的维度。该参数对判别分析没有影响 discriminant_analysis.LinearDiscriminantAnalysis.fitdiscriminant_analysis.LinearDiscriminantAnalysis.predict

示例:

Comparison of LDA and PCA 2D projection of Iris dataset: Comparison of LDA and PCA for dimensionality reduction of the Iris dataset

Mathematical formulation of the LDA and QDA classifiers ( LDA 和 QDA 分类器的数学公式 )

LDAQDA 都可以从简单概率模型中得出,该概率模型为每个类别 k 对数据  进行分类条件分布建模。然后可以通过使用贝叶斯规则获得预测:

我们选择最大化这个条件概率的类 k 。
更具体地说,对于线性和二次判别分析, 被建模为 multivariate Gaussian distribution with density ( 具有密度的多元高斯分布 ) 

为了使用这个模型作为分类器,我们只需要从训练数据中估算出先验次序 (通过类别 k 的比例),类意味着  (通过经验样本类方法)和协方差矩阵(通过经验样本类协方差矩阵,或通过正则化估计器:参见下面关于 shrinkage ( 收缩 ) 的部分)。
LDA 的情况下,假设每个类的高斯共享相同的协方差矩阵: 对于所有的 k 。这可以通过比较对数概率比  来看出:

QDA 的情况下,对于高斯的协方差矩阵  没有假设,导致二次决策面。有关详细信息,请参阅 [3]

注意:Relation with Gaussian Naive Bayes ( 与高斯朴素贝叶斯的关系 )

如果在 QDA 模型中,假设协方差矩阵是对角线的,则假设输入在每个类中是条件独立的,并且所得分类器等价于高斯朴素贝叶斯分类器 naive_bayes.GaussianNB

Mathematical formulation of LDA dimensionality reduction ( LDA 维数降低的数学公式 )

为了理解 LDA 在降维中的应用,从上述 LDA 分类规则的几何重构开始是有用的。我们为目标类的总数写入 K 。因为在 LDA 中,我们假设所有类都具有相同的估计协方差  ,我们可以重新缩放数据,使得该协方差是身份:

然后可以看出,在缩放之后对数据点进行分类,相当于找到最接近于欧几里德距离的数据点的估计类平均值  。但是,在对所有类的所有  生成的 K-1 仿射子空间 H_K 进行投影之后,也可以这样做。这表明,在 LDA 分类器中,存在通过线性投影到 K-1 维空间上的维数降低。

我们可以通过投影到线性子空间 H_L 上来将维度更小的维数减小到最大化投影后的  的方差(实际上,我们正在为变换类的一种形式的 PCA )。此 L 对应于在 discriminant_analysis.LinearDiscriminantAnalysis.transform 方法中使用的 n_components 参数。有关详细信息,请参阅 [3] 

Shrinkage ( 收缩 )

Shrinkage ( 收缩率 ) 是在训练样本数量与特征数量相比较小的情况下改善协方差矩阵估计的工具。在这种情况下,经验样本协方差是一个糟糕的估计。Shrinkage LDA 可以通过将 discriminant_analysis.LinearDiscriminantAnalysis 类的收缩参数设置为 'auto' 来使用。这可以通过 LedoitWolf 引入的引文自动确定分析方式的最佳收缩参数 [4]。请注意,目前收缩仅在将求解器参数设置为 “lsqr” 或 “eigen” 时有效。
shrinkage parameter ( 收缩参数 ) 也可以手动设置在 0 和 1 之间。特别地,值 0 对应于没有收缩(这意味着将使用经验协方差矩阵),值 1 对应于完全收缩(这意味着对角线方差矩阵将被用作协方差矩阵的估计)。将此参数设置为这两个极值之间的值将估计协方差矩阵的缩小版本。

shrinkage

 

Estimation algorithms ( 估计算法 )

default solver ( 默认解算器 ) 是 'svd' 。 它可以执行 classification ( 分类 ) 和 transform ( 变换 ) ,它不依赖于协方差矩阵的计算。 这在特征数量大的情况下可以是一个优点。 但是,'svd' solver ( 求解器 ) 不能用于收缩。
“lsqr” solver ( 求解器 ) 是一种仅用于分类的高效算法。 它支持 shrinkage ( 收缩 )。
"eigen" solver  ( “特征”求解器 )  基于类散度与类内散射比之间的优化。 它可以用于分类和转换,并且它支持收缩。 然而,‘eigen’ solver  ( “特征”求解器 ) 需要计算协方差矩阵,因此可能不适合具有大量特征的情况。

示例:

Normal and Shrinkage Linear Discriminant Analysis for classification: Comparison of LDA classifiers with and without shrinkage.

参考:

[3](12) “The Elements of Statistical Learning”, Hastie T., Tibshirani R., Friedman J., Section 4.3, p.106-119, 2008.
[4]Ledoit O, Wolf M. Honey, I Shrunk the Sample Covariance Matrix. The Journal of Portfolio Management 30(4), 110-119, 2004.
  • 无标签