ICLR'22 Spotlight | 怎样度量神经网络权重中的信息量？

本篇文章通过度量神经网络权重里的信息量，从而得以对网络的泛化能力进行衡量。我们希望这个信息度量能够帮助提高深度学习的解释性，并且在未来能够用于设计增强网络训练的算法。

论文地址：

https://openreview.net/forum?id=iLHOIDsPv1P

我们知道，解释神经网络的泛化能力是近年来人工智能领域的一项热点研究。而神经网络中储存的信息量被认为是可以衡量网络泛化能力的指标。如果我们能计算神经网络中的信息量，则可以解释和推断网络的泛化能力，解开深度学习的黑箱，并且指导其优化和设计。

在这篇文章中，我们提出了一种能快速计算神经网络权重中储存数据信息量的算法，并且基于此构建了一种新的信息瓶颈(PAC-Bayes IB)。我们在实验中证明，这种信息度量能从多个角度解释和追踪网络的泛化能力，比如在不同的宽度和深度，数据大小，数据噪音程度，批次大小等。并且，使用该种信息量作为约束能够训练更好的神经网络。