深度学习-神经网络_单隐藏层神经网络优缺点

逻辑回归的目标函数如下：以网络表达就是感知器

神经网络的层数中输入层不算，从隐藏层开始到输出层，有几层就代表着是几层的神经网络，

如上图就是一个三层结构的神经网络。 

• 多隐藏层的神经网络比 单隐藏层的神经网络工程效果好很多。
• 提升隐层层数或者隐层神经元个数，神经网络“容量”会变大，空间表达力会变强。
• 过多的隐层和神经元节点，会带来过拟合问题。
• 不要试图通过降低神经网络参数量来减缓过拟合，用正则化或者dropout。

 神经网络参数的初始化方法：

1. 采用正态分布的随机初始化方法。

2. Xavier初始化方法：假设某全连接层的输入个数为a，输出个数为b，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布：

    初始化后，每层输出的方差不会受该层输入个数的影响，且每层梯度的方差也不受该层输出个数的影响。

 激活函数：

sigmoid：

 tanh：是 sigmoid 的向下平移和伸缩后的结果。

sigmoid函数和tanh函数两者共同的缺点是，在