当前位置：网站首页>MIT-6874-Deep Learning in the Life Sciences Week4

MIT-6874-Deep Learning in the Life Sciences Week4

2022-06-30 09:36:00 【木姑娘】

Recurrent Neural Networks LSTMs, Transformers, Graph Neural Networks

Recurrent Neural Networks (RNNs)

Encoding time

  • 自回归模型
    • 使用“delay taps”从固定数量的前一项中预测下一项。
  • 前馈神经网络
    • 通过使用一层或多层非线性隐藏单元来推广自回归模型

在这里插入图片描述
如果我们给生成模型一些隐藏状态，如果我们给这个隐藏状态它自己的内部动态，

在这里插入图片描述
隐马尔可夫模型
在这里插入图片描述

RNN

在这里插入图片描述

Alternative architectures for RNNs

在这里插入图片描述

LSTM

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 网络学到了什么
    • 它学习了三个隐藏单元的四种不同的活动模式。这些模式对应于有限状态自动机中的节点
    • 循环网络可以模拟有限状态自动机，但它的功能是指数级的。有N个隐藏神经元，它有2^N个可能的二元活动向量

在这里插入图片描述

Transformer

在这里插入图片描述

GNN

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Graph neural nets

了解如何将信息通过图传播到计算节点特性
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Application to “classical” network problems

在这里插入图片描述

Unsupervised learning with GNNs

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

How should we decode the graph?

并不是所有图都具有化学有效性的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

原网站

版权声明
本文为[木姑娘]所创，转载请带上原文链接，感谢
https://blog.csdn.net/m0_37678226/article/details/125038106

边栏推荐

猜你喜欢

随机推荐