论文笔记: 多标签学习 BP-MLL

摘要: 分享对论文的理解. 原文见 Zhang, M.-L., & Zhou, Z.-H. (2006). Multi-label neural networks with applications to functional genomics and text categorization. IEEE transactions on Knowledge and Data Engineering, 18, 1338–1351.

1. 论文贡献

The first multilabel neural network algorithm.
多标签学习的第一个神经网络算法.

2. 主要思想

The labels belonging to an instance should be ranked higher than those not belonging to that instance.
例: 如果图片里面有猫但没狗, 则猫对应的预测值应该比狗的大.
更实际的例子: 对猫这个标签的预测值为 0.6, 对狗为 0.3, 则惩罚较小 (机器学习里面一般惩罚值都大于 0); 否则惩罚很大.
进一步解读: 成对的比较.

3. 符号系统

符号	含义	说明
$\mathcal{X}={\mathbb{R}}^d$	$d$ 维特征空间
$\mathcal{Y}=\{1,2,\dots ,Q\}$	标签空间	使用整数集合而不是 $\{-1,1{\}}^d$
$h:\mathcal{X}\to 2^{\mathcal{Y}}$	分类器	使用幂集
$f:\mathcal{X}\times \mathcal{Y}\to \mathbb{R}$	回归器	为每个对象的每个标签预测一个概率

说明:

1. 从回归器到分类器, 只需要增加一个阈值.
2. 有些 (更为流行的) MLL 评价指标并不需要输出 $+1$ 或 $-1$, 而是标签的排序.

4. 算法核心

图 1. 神经网络结构

$$E=\sum _{i=1}^m{E}_i=\sum _{i=1}^m\frac{1}{|Y_i||\overline{Y_i}|}\sum _{(k,l)\in Y_i\times \overline{Y_i}}\exp (-(c_k^i-c_l^i)),\text{\hspace{1em}(1)}$$
其中:

• $\overline{Y_i}=\mathcal{Y}\setminus Y_i$, 即 $Y_i$ 的补集.
• $c_k^i=f({\mathbf{x}}_{\mathbf{i}},k)$ 是神经网络对于 ${\mathbf{x}}_{\mathbf{i}}$ 第 $k$ 个标签的预测值.
• 第一个求和是针对所有对象.
• 第二个求和本质上是双重循环, 如 $|Y_i|=10$, $Q=100$, 则需要求 $10\times 90=900$ 对.
• 当 $\exp$ 的参数小于 0 时, 损失较小, 否则相当大.

5. 小结

• 成对比较的思想.
• 一篇机器学习的论文, 一个损失函数就够了.
• 可以把 $\exp$ 替换成另外的单增函数, 或者改变网络结构, 以此来进行小的创新.