LSTM一般最多堆叠多少层_60个时间步的40tokenlstm隐藏层用多少合适

一、LSTM一般最多堆叠多少层

在大规模翻译任务的经验中,简单的堆叠LSTM层最多可以工作4层,很少工作6层,超过8层就很差了。

Redisual connection有助于梯度的反向传播，能够帮助lstm堆叠更多层，实现更深层的训练，但是一般也就是最多到8层。

二、bilstm的前向和后向隐层输出是如何组合的

注意上图只是一层的bilstm，如果是多层的bilstm，则是两个不同方向的多层lstm按照上图拼接在一起

图中这个符号表示拼接concat

参考文献：

1.https://arxiv.org/pdf/1609.08144.pdf

2.bilstm模型结构 - 简书

3.python - Bidirectional LSTM Merge Mode explanation - Stack Overflow