当前位置：网站首页>机器学习笔记 temperature+Softmax

机器学习笔记 temperature+Softmax

2022-06-28 19:04:00 【UQI-LIUWJ】

1 介绍

带temperature的Softmax，用公式描述，可以表示为

$S_\tau(x,y)=[\frac{exp(a_1/\tau)}{\sum exp(a_i/\tau)},\frac{exp(a_2/\tau)}{\sum exp(a_i/\tau)},\cdots,\frac{exp(a_i/\tau)}{\sum exp(a_i/\tau)}]$

直观感受一下

import numpy as np

def exp_tem(x,tau):
    return np.exp(x/tau)/sum(np.exp(x/tau))

print(exp_tem(np.array([1,2,3]),2))
#[0.18632372 0.30719589 0.50648039]
print(exp_tem(np.array([1,2,3]),1))
#[0.09003057 0.24472847 0.66524096]
print(exp_tem(np.array([1,2,3]),0.5))
#[0.01587624 0.11731043 0.86681333]

不难发现，t越大，各个类之间的差距越小，结果越“平滑”；t越小，各个类之间的差距越大，结果越“尖锐”。

2 temperature的作用

个人觉得可以在一定程度上类比成强化学习的ε-greedy，如果temperature设置得比较大，那么各个类之间的差别不大，就有很大概率选到不同的类，获得了一定的exploration空间；如果temperature设置得比较小，那么概率最大的类得到的结果数值会“鹤立鸡群”，那么基本上选择的就是这个类了。

所以我们可以设置 temperature $\tau=\frac{c}{1+logT}$ ，随着模型的更新，temperature越来越小，也就逐渐从exploration转向exploitation了。