中南大学|通过探索理解: 发现具有深度强化学习的可解释特征

【标题】Understanding via Exploration: Discovery of Interpretable Features With Deep Reinforcement Learning

【作者团队】Jiawen Wei, Zhifeng Qiu, Fangyuan Wang, Wenwei Lin, Ning Gui, Weihua Gui

【发表日期】2022.6.28

【论文链接】https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9810174

【推荐理由】通过交互来理解环境已经成为人类掌握未知系统最重要的智力活动之一。众所周知，深度强化学习 (DRL) 在许多应用中通过类似人类的探索和利用来实现有效控制。然而，深度神经网络(DNN)的不透明特性往往隐藏了与控制相关的关键信息，这对于理解目标系统是必不可少的。本文首先提出了一种新的在线特征选择框架，即基于双世界的注意特征选择(D-AFS) ，以识别输入对整个控制过程的贡献。与大多数 DRL 中使用的世界不同，D-AFS 同时具有现实世界和具有扭曲特性的虚拟世界。新引入的基于注意力的评估(AR)模块实现了从现实世界到虚拟世界的动态映射。现有的 DRL 算法只需稍加修改，就可以在双重世界中学习。通过分析 DRL 在两个世界中的响应，D-AFS 可以定量地识别各个特征对控制的重要性。