基于子空间结构保持的迁移学习方法MLSSM

0、前言

      在前期博文中本人引出了无监督特征对齐的迁移学习理论框架地址 ，本文在该篇博文基础上提出一种基于子空间结构保持的迁移学习算法（命名为：MLSSM）。主要思想：首先提取目标域数据的子空间结构，子空间结构表征了目标域数据的结构分布特性；然后对源域数据进行线性转换，使得转换后的数据与目标域数据具有相同的子空间结构

1、 子空间结构的获取

数据定义：

       ① 源域：

       ② 目标域：

       ③源域转换矩阵：

子空间结构获取：

        为了获取数据的子空间结构，基于主元成分分析（PCA）理论，以方差信息最大化保持为目标获得投影矩阵，该投影矩阵隐含了数据的空间分布特性，因此将其作为数据的子空间结构保持矩阵。

2、目标域数据子空间结构获取

       目标域子空间结构保持矩阵 求解模型如下：

           

 3、源域转换矩阵求取

数据定义：

       ①源域转换矩阵：

       ②转换后源域数据：

       为了使得转换后源域数据对应的子空间结构与目标域数据子空间结构保持一致，则源域转换矩阵的求解模型如下：

        约束条件： 。

        定义，上式转化为如下问题求解：

         即K为最大m个特征值对应的特征向量矩阵。（m为目标域子空间结构保持矩阵  的列数，也是数据降维后的特征维数）

        求解上述目标函数，可得源域转换矩阵

        转换后的源域数据变成：

         此时的与目标域数据结构一致（子空间结构一致），为后续的特征提取和分类建模都做好了数据准备。

         注意：子空间结构保持矩阵的求取方式实际上不唯一。以最大化全局方差信息保留为原则（即PCA方法）是线性化、非监督的典型方式，本文先尝试这种方法。

4、 特征降维 

       接下来对和进行联合特征降维，可以弥补单独建模时数据量不够充分导致的模型泛化性能不够的问题。

      直接利用目标域子空间结构保持矩阵  进行线性变换，实现线性降维，降维后的数据记为：

即:

5、特征可视化效果

       待下次分析！！！