当前位置：网站首页>DDTL：远距离的域迁移学习

DDTL：远距离的域迁移学习

2022-08-04 01:11:00 【一瞬にして失う】

DDTL问题：目标域可以与源域完全不同。

1、提出了一种选择性学习算法（SLA），以有监督自动编码器或有监督卷积自动编码器作为处理不同类型输入的基础模型。

2、SLA算法从中间域中逐渐选择有用的未标记数据作为桥梁，以打破两个远距离域之间传递知识的巨大分布差异。

迁移学习：从源领域借用知识来增强目标域学习能力的学习方法

Task1：在猫和老虎图像之间传递知识。迁移学习算法比一些监督学习算法获得更好的性能。

Task2：在人脸和飞机图像之间传递知识。迁移学习算法失败，因为其性能比监督学习算法差。然而，当应用SLA算法时，获得了更好的性能。

1、DDTL问题定义
大小为 $n_{S}$ 的源域标记数据： $S=\left \{ \left ( x_{S}^{1} ,y_{S}^{1}\right ),..., \left ( x_{S}^{n_{S}} ,y_{S}^{n_{S}}\right )\right \}$ ;
大小为 $n_{T}$ 的目标域标记数据： $T=\left \{ \left (x _{T}^{1},y_{T}^{1} \right ) ,...,\left (x _{T}^{n_{T}},y_{T}^{n_{T}} \right )\right \}$ ；
多个中间域未标记数据的混合: $I=\left \{x _{I}^{1} ,...,x_{I}^{n_{I}}\right \}$ 。
一个域对应于特定分类问题的一个概念或类别，例如从图像中识别人脸或飞机。
问题描述：假设源域和目标域中的分类问题都是二进制的。所有数据点都应位于同一特征空间中。设 $p_{S}\left ( x \right )$ 、 $p_{S}\left ( y|x \right )$ 和 $p_{S}\left ( x,y \right )$ 分别是源域数据的边际分布、条件分布和联合分布；相对于目标域的三个分布为 $p_{T}\left ( x \right )$ ， $p_{T}\left ( y|x \right )$ ， $p_{T}\left ( x,y \right )$ ； $p_{I}\left ( x \right )$ 是中间域的边际分布。在DDTL问题中：
$p_{T}\left ( x \right )\neq p_{S}\left ( x \right )$ ；
$p_{T}\left ( x \right )\neq p_{I}\left ( x \right )$ ；
$p_{T}\left ( y|x \right )\neq p_{S}\left ( y|x \right )$ 。
目标：利用中间域中的未标记数据，在原本彼此距离较远的源域和目标域之间建立桥梁，并通过借助桥梁从源域迁移监督知识来训练目标域的准确分类器。
PS：并不是所有中间域中的数据都应该与源域数据相似，其中一些数据可能非常不同。因此，简单地使用所有中间数据来建造桥梁可能会失败。

2、SLA：选择性学习算法
2.1自动编码器及其变体
自动编码器是一种无监督前馈神经网络，具有输入层、一个或多个隐藏层和输出层，它通常包括两个过程：编码和解码。
输入： $x\in R^{q}$ ;
编码函数： $f_{e}\left ( \cdot \right )$ 对其进行编码以将其映射到隐藏表示；
解码函数： $f_{d}\left ( \cdot \right )$ 进行解码以重构x。
自动编码器的过程可以总结为：
编码： $h=f_{e}\left ( x\right )$ ;
解码： $\widehat{x}=f_{d}\left ( h \right )$ .
其中 $\widehat{x}$ 是近似于原输入x的重构输入。通过最小化所有训练数据上的重构误差，即
$\min_{f_{e},f_{d}}\sum_{i=1}^{n}\left \| \widehat{x_{i}} -x_{i}\right \|_{2}^{2}$
2.2通过重构误差进行实例选择
在实践中，由于源域和目标域相距较远，可能只有一部分源域数据对目标域有用,中间域的情况相似。因此，为了从中间域中选择有用的实例，并从源域中移除目标域的相关实例，通过最小化源域和中间域中所选实例以及目标域中所有实例的重建误差来学习一对编码和解码函数。要最小化的目标函数公式如下：
$\tau _{1}\left (f _{e} ,f_{d},v_{S},v_{T}\right )=\frac{1}{n_{S}}\sum_{i=1}^{n_{S}}v_{S}^{i}\left \| \widehat{x_{S}^{i}}-x_{S}^{i} \right \|_{2}^{2}+\frac{1}{n_{I}}\sum_{i=1}^{n_{I}}v_{I}^{i}\left \| \widehat{x_{I}^{i}}-x_{I}^{i} \right \|_{2}^{2}+\frac{1}{n_{T}}\sum_{i=1}^{n_{T}}v_{T}^{i}\left \| \widehat{x_{T}^{i}}-x_{T}^{i} \right \|_{2}^{2}+R\left ( v_{S},v_{T} \right )$
$v_{S}^{i}$ 、 $v_{I}^{j}$ ∈ ｛0，1｝：源域中第i个实例和中间域中第j个实例的选择指示符。当值为1时，将选择相应的实例，否则将取消选择。
$R\left ( v_{S},v_{T} \right )$ ： $v_{S}$ 和 $v_{T}$ 上的正则化项，通过将 $v_{S}$ 和 $v_{T}$ 的所有值设置为零来避免一些不重要的解。将其定义为：
$R\left ( v_{S},v_{T} \right )=-\frac{\lambda _{S}}{n_{S}}\sum_{i=1}^{n_{S}}v_{S}^{i}-\frac{\lambda _{I}}{n_{I}}\sum_{i=1}^{n_{I}}v_{S}^{i}$
最小化该项等同于鼓励从源域和中间域中选择尽可能多的实例。两个正则化参数 $\lambda _{S}$ 和 $\lambda _{I}$ 控制该正则化项的重要性。
2.3辅助信息的阐述
在学习不同领域的隐藏表示时纳入辅助信息。
源域和目标域：数据标签可以用作辅助信息；
中间域：没有标签信息。
将中间域上的预测视为辅助信息，并使用预测的置信度来指导隐藏表示的学习。具体而言，我们建议通过最小化以下函数将辅助信息纳入学习：
$\tau _{2}\left (f _{c},f _{e} ,f _{d}\right)=\frac{1}{n_{S}}\sum_{i=1}^{n_{S}}v_{S}^{i}\iota \left ( y_{S}^{i} ,f_{c}\left ( h_{S}^{i} \right )\right )+\frac{1}{n_{T}}\sum_{i=1}^{n_{T}}v_{T}^{i}\iota \left ( y_{T}^{i} ,f_{c}\left ( h_{T}^{i} \right )\right )+\frac{1}{n_{I}}\sum_{i=1}^{n_{I}}v_{I}^{i}g \left (f_{c}\left ( h_{I}^{i} \right ) \right )$
$f_{c}\left ( \cdot \right )$ ：是输出分类概率的分类函数;
g（·）：定义为 $g\left ( z \right )=-zInz-\left ( 1-z \right )In\left ( 1-z \right )$ ,其中0≤ z≤ 1；
将 $g\left ( \cdot \right )$ 用于选择中间域中的高预测置信度的实例。
2.4总体目标函数
DDTL的最终目标函数如下：
$\min_{\theta ,v}\tau =\tau _{1}+\tau _{2}, s.t. v_{S}^{i},v_{I}^{i}\in \left \{ 0,1 \right \}$
其中 $v=\left \{ v_{S} ,v_{T}\right \}$ ；Θ表示函数 $f_{c}\left ( \cdot \right )$ 、 $f_{e}\left ( \cdot \right )$ 和 $f_{d}\left ( \cdot \right )$ 的所有参数。
使用块坐标decedent（BCD）方法，在每次迭代中，在保持其他变量不变的情况下，顺序优化每个块中的变量。
在 $v_{S}^{i}$ 中选择具有低重建误差和低训练损失；在 $v_{I}^{i}$ 中选择具有低重建误差和低训练损失。
深度学习体系结构如下图所示。