子空间结构保持的多层极限学习机自编码器（ML-SELM-AE)

0、前言

        非线性无监督降维方法极限学习机自编码器 (Extreme learning machine, ELM-AE) 因其学习速度快、泛化性能好, 近年来被广泛应用于降维及去噪。为使高维数据投影至低维空间后仍能保持原有子空间结构，提出基于子空间结构保持的多层极限学习机自编码器降维方法 (Multilayer extreme learning machine autoencoder based on subspace structure preserving, ML-SELM-AE)。该方法在保持聚类样本多子空间结构的同时, 利用多层极限学习机自编码器捕获样本集的深层特征。详细理论可参考论文《子空间结构保持的多层极限学习机自编码器》，本文理论简介部分所有图片直接来源于该论文。

1、 理论简介

1.1 极限学习机自编码器

 1.2 子空间结构保持极限学习机自编码器

        问题求解优化模型如下：

        模型解析解为：

  

1.3 多层子空间保持的极限学习机自编码器

1.4 ML-SELM-AE实现

         本文对现有极限学习机的典型改造模型进行了复现和对比：①深度极限学习机自编码器（DELM）②半监督极限学习机自编码器(SSELM))③拉普拉斯深度极限学习机自编码器(LAPDELM)④子空间结构保持深度极限学习机自编码器（ML-ELM-AE)。

        结果如下：①②③④

       上述四种方法的结果各自受相关参数影响，后期文章会继续讨论分析参数影响即参数的优化方法。

2 参数影响分析

2.1 平衡参数影响分析

       设定变化区间为[0.1:0.1:2],重构误差项平滑参数设置为固定值0.01，中间层层数为3，节点数为[200；100；20]，结果如下：

         设定变化区间为[0.01:0.01:0.2],自表示误差项平滑参数设置为固定值0.1，中间层层数为3，节点数为[200；100；20]，结果如下：

        上面两个图的结果可以看出 ，两个平衡参数的设置对最终模型影响较大。根据趋势可以看出自编码误差项参数应该尽量设置小一些。

 2.2 层数影响分析

       设定隐含层节点数递减规律为[300,280,250,220,200,180,150,120,100,80,70,60,50,40,30,20],重构误差项平滑参数设置为固定值0.01，自表示误差项平滑参数设置为固定值0.1，中间层层数为2~10，对应结果如下。

 3 参数优化

        采用蜉蝣优化DSELM的隐含层节点数及平衡常数，当设置隐含层数为L=3时，节点区间为[10，300]，平衡常数优化区间为[0.001，10]时参数优化结果为W：其中前三项为节点数，后两项分别对应自编码重构误差项的平衡参数、自表示误差项的平衡参数

         优化后模型测试结果为：

        优化前结果为：

4 结论

        模型结构参数以及平衡参数的设置对最终结果影响大，采用优化算法对其进行优化能提升模型最终精度。