论文笔记: 多标签学习 DM2L

摘要: 分享对论文的理解. 原文见 Ma, Z.-C., & Chen, S.-C. (2021). Expand globally, shrink locally: Discrimi-nant multi-label learning with missing labels. Pattern Recognition, 111, 107675.

1. 论文贡献

• 从全局和局部两个方面同时优化;
• 用核函数支撑非线性变换;
• 理论分析到位.

2. 基本符号

符号	含义	说明
$\mathbf{X}\in {\mathbb{R}}^{n\times d}$	属性矩阵
${\mathbf{X}}_k\in {\mathbb{R}}^{n_k\times d}$	具有第 $k$ 个标签的属性子矩阵
$\mathbf{Y}\in \{-1,+1{\}}^{n\times c}$	标签矩阵
$\tilde{\mathbf{Y}}\in \{-1,+1{\}}^{n\times l}$	观测到的标签矩阵
$\mathbf{\Omega }=\{1,\dots ,n\}\times \{1,\dots ,c\}$	观测标签位置集合
$\mathbf{W}\in {\mathbb{R}}^{m\times l}$	系数矩阵	仍然是线性模型
${\mathbf{w}}_i\in {\mathbb{R}}^m$	某一标签的系数向量
$\mathbf{C}\in {\mathbb{R}}^{l\times l}$	标签相关性矩阵	成对相关性, 不满足对称性

3. 算法

基本优化目标:
$$\min \frac{1}{2}\Vert R_{\Omega }(\mathbf{X}\mathbf{W})-\tilde{\mathbf{Y}}{\Vert }_F^2+{\lambda }_d\Vert \mathbf{X}\mathbf{W}{\Vert }_{\ast }\text{\hspace{1em}(1)}$$
其中,

• 损失函数部分不考虑缺失值, 这个属于常规操作.
• 核正则 (nuclear norm) 部分考虑了预测的矩阵, 而不仅仅是 $\mathbf{X}\mathbf{W}$, 有点奇怪.

考虑标签结构后的优化目标:
$$\min \frac{1}{2}\Vert R_{\Omega }(\mathbf{X}\mathbf{W})-\tilde{\mathbf{Y}}{\Vert }_F^2+{\lambda }_d\left(\sum _{k=1}^c\Vert {\mathbf{X}}_k\mathbf{W}{\Vert }_{\ast }-\Vert \mathbf{X}\mathbf{W}{\Vert }_{\ast }\right),\text{\hspace{1em}(2)}$$
其中,

• $\Vert {\mathbf{X}}_k\mathbf{W}{\Vert }_{\ast }$ 表达了局部标签结构, 轶越小越好;
• $\Vert \mathbf{X}\mathbf{W}{\Vert }_{\ast }$ 表达了全局标签结构, 轶越大越好 (可分性更强, 信息量越高).
• 这两点就是题目的来源.

增加非线性的优化目标:
$$\min \frac{1}{2}\Vert R_{\Omega }(\mathbf{X}\mathbf{W})-\tilde{\mathbf{Y}}{\Vert }_F^2+{\lambda }_d\left(\sum _{k=1}^c\Vert f({\mathbf{X}}_k)\mathbf{W}{\Vert }_{\ast }-\Vert f(\mathbf{X})\mathbf{W}{\Vert }_{\ast }\right),\text{\hspace{1em}(5)}$$
其中 $f(\cdot )$ 为核函数导致的非线性变换.

4. 小结

• 又是一堆理论证明.