【esn】 学习回声状态网络

•  输入可以是一维也可以是多维
• 符号表示:
• 训练
• 
• 预测

 

•  储备池主要有两个作用：非线性的高维变换和输入数据ut的记忆（对历史时间相关的数据有记忆功能）。
• 回声状态网络和核函数方法之间存在类似的关系

  ---

回声状态网络的参数：储备池的神经元个数n，储备池的稀疏度，wr中非零数据的分布，wr的谱半径，win的缩放比例和泄漏率γ

参数选择

• 储备池维数（神经元个数）n：考虑储备池必须记忆的独立数据个数来估计储备池维数n的下限，独立数据是指回声状态网络为了能成功完后才能任务所需要记住的数据。。对于独立同分布的输入数据，独立数据的个数是通过输入互数据的维数乘以解决问题所需记忆的时间步长来粗略估计的
• 储备池的稀疏度：普遍采用高斯分布生成储备池的连接权值矩阵wr
• 输入连接矩阵win的尺度因子：win服从均匀分布，假设尺度因子定义为α，那么α∈[-a，a]，win从区间[-a，a]进行采样；若win服从正态分布，那么选择标准偏差作为尺度因子。

（储备池趋向于消除xt中ut的主分量的频谱，所以数据在输入回声状态网络前，需要选择数据的正确表示或进行预处理。如果输入较小主成分不携带有用的信息，可能在他们输入到储备池之前通过主成分分析将他们从数据中出去掉，否则他们将在储备池中被放大）

• 保留率γ是决定储备池状态xt更新速度的重要参数，γ可以被看做在两个连续时间步长之间离散化的时间间隔。
• 储备池的连接权值矩阵wr的谱半径：谱半径决定了输入对储备池状态的影响随时间消失的快慢程度，以及储备池的稳定程度。谱半径<1不是回声状态属性的必要条件，最优谱半径值有时可能显著大于1

（储备池应该满足所谓的回声状态特性：储备池的状态xt应该通过输入ut唯一的确定。换句话说：对于足够长的输入ut，储备池的最后状态xt不应该与输入之前的初始条件相关。）