自适应迁移学习核极限学习机用于预测

 目录

0、前言

1、自适应迁移学习核极限学习机原理

1.1 结构风险最小化

1.2 联合分配

1.3 流行正则化

1.4 核极限学习机模型参数​求解公式

1.5  自适应迁移学习核极限学习机训练

1.6 说明

2、预测效果

---

0、前言

        引入迁移学习知识，通过迭代的方式循环更新核极限学习机。首先训练核极限学习机为目标域预测伪输出值，利用联合分布适配对齐两域分布，以减小分布差异；其次，通过流形正则化对目标域数据进一步利用，挖掘数据的潜在分布几何结构，学习目标域数据分布信息；最后，利用在结构风险最小化框架下建立的预测模型结合上述两步学习策略，迭代更新目标域预测输出获得最优模型参数，实现自适应迁移学习核极限学习机预测构建。

1、自适应迁移学习核极限学习机原理

        给定标记源域：

        目标域：

        假定源域与目标域的特征空间相同:

        假定源域与目标域的输出空间也相同:

       学习一个预测函数即：,设置,应用核理论：,K为与对应的核函数。 是将原始特征向量投影到再生希尔伯特空间H的特征映射函数。

        自适应迁移学习预测模型的学习框架为：

        其中：是模型正则项参数 ，是联合适配正则化项参数，是流形正则化项参数，第一项表示结构风险最小化项，第二项表示联合适配正则化项，第三项表示流形正则化项。

1.1 结构风险最小化

        首先在标记的源域 上归纳一个标准预测模型，作为迁移到目标域 的基础版本，为目标域样本赋予伪输出值。利用结构风险最小化原则，使用源域数据构造框架第一项。

       其中为训练样本拟合精度的损失函数，为模型正则化项。

        应用核技巧，可以转换为以下形式： 

 

1.2 联合分配

        采用 最 大 均 值 差 异 ( maximum mean discrepancy，MMD)来度量不同概率分布的适配程度，它定义为源域和目标域在无穷维核空间中的均值距离 。

          考虑分类器的变换形式，变换后的MMD距离用来表示边缘分布，形式如下：

         用变换后的类心距离表示条件分布，形式如下：    

         不同于分类模型，预测模型没有类别标签，预测输出是连续变量，因此无法直接根据类别标签采用上式计算类心距离。所以，对于预测模型，表达条件分布时需要先对预测输出变量进行变换处理，使其与类别标签对应，通常采用的方法是等区间划分（让每个区间对应一个标签值）或者采用模糊理论方法为连续变量划分区间（如云理论）。

         联合分布即边缘分布与条件分布的结合，形式如下：

          应用核技巧转换为如下方式：

         其中：

1.3 流行正则化

        考虑映射后的输出应该与输入样本保持近似的流行结构，构造以下流行正则化项：

      

    其中：W 是图邻接矩阵，L 为归一化图拉普拉斯矩阵，W 的计算式如下：

    应用核技巧，转换为以下形式：

1.4 核极限学习机模型参数求解公式

        其中Y为实际值，为模型预测输出值，根据上式得出预测模型参数更新方式如下： 

1.5  自适应迁移学习核极限学习机训练

        ①基于标记的源域 训练一个初始的核极限学习机预测模型

        ②基于预测模型,为目标域 样本赋予预测输出值。 

        ③设置 （模型正则项参数 ），（联合适配正则化项参数），（流形正则化项参数）、近邻数P、迭代步数T

        ④确定核函数，计算核矩阵K

        ⑤计算M、L矩阵，并根据模型参数的求解公式更新计算，即更新核极限学习机预测模型

        ⑥重复步骤②—⑤，直到迭代步数达到T，停止迭代，得到最终模型参数，确定最终正则化迁移学习核极限学习机预测模型。

1.6 说明

        ①所提迁移学习核极限学习机不仅仅可以用于预测，也可以用于分类。用于预测时需要根据预测值划分类别区间；用于分类时，对应输出是离散类别标签（独热编码），而不是连续预测变量。

        ②所提迁移学习核极限学习机可以作为一个单独的核极限学习机预测模型，也可以作为一个深度神经网络的最后预测输出层

        ③所提迁移学习核极限学习机模型可以与现有特征提取方法结合使用，即完成特征提取后再进行预测（类似于作为深度神经网络的最后预测层，即深度神经网络用于深度特征的提取）

        ④所提迁移学习核极限学习机将源域的知识迁移到目标域实现预测，避免了直接利用目标域小样本数据建模带来的过拟合或者欠拟合问题

        ⑤所提迁移学习核极限学习机是迁移学习直接在预测输出建模层面上的应用，并不是在特征提取层面的知识迁移，所以可以考虑将特征层面知识迁移与分类层面知识迁移相结合，实现全方位多角度的知识迁移。

         上诉纯属个人观点！谨慎参考，欢迎一起研讨。

2、预测效果

     下次解析！