NLP文本情感分析:测试集loss比训练集loss大很多，训练集效果好测试集效果差的原因_测试集的loss远大于训练集

一、前言

最近在学习神经网络自然语言处理的相关知识，发现运行的之后测试集的loss比训练集的loss大很多，而accuracy比训练集的小，造成模型效果不是很好。查了很多资料，发现网上这方面的资料好少，所以在了解了原因之后写一篇总结。以下是我的情况：
在网上收集了2万条评论，分为训练集和测试集，训练集大概1.6万条，测试集0.4万条。使用的tensorflow里的keras使用的堆叠框架：

       model = tf.keras.models.Sequential([
               tf.keras.layers.Embedding(output_dim=vocab_dim,
                        input_dim=n_symbols,
                        mask_zero=True,
                        weights=[embedding_weights],
                        input_length=input_length),

                tf.keras.layers.LSTM(units=50),
                tf.keras.layers.Dropout(0.5),
                tf.keras.layers.Dense(3),
                tf.keras.layers.Activation('sigmoid')
               ])                
1
2
3
4
5
6
7
8
9
10
11
12

得到结果：