Python实现线性判别分析(LDA)的MATLAB方式-创新互联
线性判别分析(linear discriminant analysis),LDA。也称为Fisher线性判别(FLD)是模式识别的经典算法。
创新互联-专业网站定制、快速模板网站建设、高性价比兴山网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式兴山网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖兴山地区。费用合理售后完善,十年实体公司更值得信赖。(1)中心思想:将高维的样本投影到最佳鉴别矢量空间,来达到抽取分类信息和压缩特种空间维数的效果,投影后保证样本在新的子空间有大的类间距离和最小的类内距离。也就是说在该空间中有最佳的可分离性。
(2)与PCA的不同点:PCA主要是从特征的协方差出发,来找到比较好的投影方式,最后需要保留的特征维数可以自己选择。但是LDA更多的是考虑了类别信息,即希望投影后不同类别之间数据点的距离更大,同一类别的数据点更紧凑。
从图中也可以看出,LDA的投影后就已经将不同的类别分开了。
所以说,LDA是以分类为基准的,考虑的是如何选择投影方向使得分类更好,是有监督的。但是PCA是一种无监督的降维方式,它只是单纯的降维,只考虑如何选择投影面才能使得降维以后的样本信息保留的大。
(3)LDA的维度:LDA降维后是与类别个数直接相关的,而与数据本身的维度没有关系。如果有C个类别,LDA降维后一般会选择1-C-1维。对于很多二分类问题,LDA之后就剩下一维,然后再找到一个分类效果最好的阈值就可以进行分类了。
(4)投影的坐标系是否正交:
PCA的投影坐标系都是正交的,而LDA是根据类别的标注,主要关注的是分类能力,因此可以不去关注石否正交,而且一般都不正交。
(5)LDA步骤:
(a)计算各个类的样本均值:
这个地方需要注意的是,分别求出每个类别样本的Sbi或者Swi后,在计算总体的Sb和Sw时需要做加权平均,因为每个类别中的样本数目可能是不一样的。
(d)LDA作为一个分类的算法,我们希望类内的聚合度高,即类内散度矩阵小,而类间散度矩阵大。这样的分类效果才好。因此引入Fisher鉴别准则表达式:
(inv(Sw)Sb)的特征向量。且最优投影轴的个数d<=C-1;
(e)所以,只要计算出矩阵inv(Sw)Sb的大特征值对应的特征向量,该特征向量就是投影方向W。
(6)计算各点在投影后的方向上的投影点:
MATLAB实现代码:
%这是训练数据集 %2.9500 6.6300 0 %2.5300 7.7900 0 %3.5700 5.6500 0 %3.1600 5.4700 0 %2.5800 4.4600 1 %2.1600 6.2200 1 %3.2700 3.5200 1 X=load('22.txt'); pos0=find(X(:,3)==0); pos1=find(X(:,3)==1); X1=X(pos0,1:2); X2=X(pos1,1:2); hold on plot(X1(:,1),X1(:,2),'r+','markerfacecolor', [ 1, 0, 0 ]); plot(X2(:,1),X2(:,2),'b*','markerfacecolor', [ 0, 0, 1 ]); grid on %输出样本的二维分布
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
本文标题:Python实现线性判别分析(LDA)的MATLAB方式-创新互联
网页链接:http://myzitong.com/article/coseej.html