CNN-LSTM的flatten

CNN和LSTM之间该如何连接？

之前有看到过说，展平也行不展平也行

第一种做法，展平

假设你最原始的序列的最大长度为100，词嵌入之后，维度为16，那就是[N, 100,16]。假设你CNN相同卷积并输出64通道，那CNN之后的输出就是[N, 100, 64]。然后你可以把它flatten成[N, 6400]输入LSTM。

model = Sequential()
    model.add(Conv1D(filters=64, kernel_size=3, activation='relu',
                     input_shape=(n_timesteps, n_features)))
    model.add(Conv1D(filters=64, kernel_size=3, activation='relu'))
    model.add(MaxPooling1D(pool_size=2))
    model.add(Flatten())

    #如果输入的形状为（None,32），
    # 经过添加RepeatVector(3)层之后，
    # 输出变为（None,3,32）,RepeatVector不改变我们的步长，
    # 改变我们的每一步的维数（即：属性长度）
    model.add(RepeatVector(n_outputs))

    model.add(LSTM(200, activation='relu', return_sequences=True))
    # TimeDistributed和Dense一起配合使用，
    # 主要应用于一对多，多对多的情况。
    model.add(TimeDistributed(Dense(100, activation='relu')))
    # input_shape = (10, 16)，表示步长是10，
    # 每一步的维度为16，（即：每一个数据的属性长度为16））
    # 首先使用TimeDistributed（Dense（8），input_shape = (10, 16)）
    # 把每一步的维度为16变成8，不改变步长的大小
    # eg：输入形状然后(50, 10, 16)，则这一层之后的输出为(50, 10, 8)
    model.add(TimeDistributed(Dense(1)))

    model.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
    print(model.summary())

第二种方法，不展平

比如，也可以直接把[N, 100, 64]输入LSTM。

model = Sequential()
    model.add(Conv1D(filters=64, kernel_size=3, activation='relu',
                     input_shape=(n_timesteps, n_features)))
    model.add(Conv1D(filters=64, kernel_size=6, activation='relu'))
    model.add(MaxPooling1D(pool_size=1))
    model.add(RepeatVector(n_outputs))

    model.add(LSTM(200, activation='relu', return_sequences=True))
    model.add(TimeDistributed(Dense(100, activation='relu')))
    model.add(TimeDistributed(Dense(1)))

    model.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
    print(model.summary())

结果显示

还是有区别的：