深度学习DL调参隐藏层节点数对网络性能的影响_增加隐藏节点的数量或隐藏节点的层数是否会显著提高网络的性能?

作者：盐析白兔 | 2024-03-26 03:12:24

踩

增加隐藏节点的数量或隐藏节点的层数是否会显著提高网络的性能?

这次用于实验隐藏层节点数对网络性能的影响，训练集用的是mnist的训练集的0和1，测试集用的mnist的测试集的0和1，学习率固定位0.1，batchsize=20，训练集不加噪音。得到的数据

网络结构	8112	8122	8152	81102	81202	81602	811002	812002
训练集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集
测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集
学习率	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1
batchsize	z=20	z=20	z=20	z=20	z=20	z=20	z=20	z=20
*	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000

平均值	0.890799	0.897682	0.885218	0.894702	0.888931	0.894205	0.898368	0.900473
标准差	0.025011	0.014667	0.020437	0.015017	0.030596	0.019669	0.019298	0.018502
最大值	0.910596	0.911069	0.901135	0.913434	0.913434	0.913907	0.912961	0.912961

训练集噪音比例	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0
测试集噪音比例	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0

得到结论隐藏层的节点数对网络性能没有太大影响，是多少不重要，甚至很让人意外的是即便隐藏层只有1个节点网络的性能也可能很好，虽然一个节点的隐藏层很容易过拟合，但是隐藏层节点少一点无疑会极大的加快速度，综合前两次实验，很显然一个好的网络就是一个大的batchsize和一个小的隐藏层节点数同时训练集不加噪音。

具体数据

8112	0.805109	0	8122	0.853832	0	8152	0.885525	0	81102	0.878903	0
全样品集	0.871334	1	全样品集	0.899243	1	全样品集	0.864711	1	全样品集	0.879376	1
全测试集	0.879376	2	全测试集	0.897824	2	全测试集	0.866604	2	全测试集	0.896405	2
ret=0.1	0.902081	3	ret=0.1	0.900189	3	ret=0.1	0.810785	3	ret=0.1	0.886471	3
z=20	0.880322	4	z=20	0.906339	4	z=20	0.901135	4	z=20	0.892148	4
it=10000	0.845317	5	it=10000	0.894513	5	it=10000	0.881741	5	it=10000	0.9035	5
average	0.892621	6	average	0.901135	6	average	0.89877	6	average	0.866604	6
0.890799	0.896878	7	0.897682	0.899243	7	0.885218	0.895459	7	0.894702	0.886471	7
stdevp	0.893567	8	stdevp	0.903974	8	stdevp	0.890728	8	stdevp	0.900189	8
0.025011	0.910596	9	0.014667	0.892148	9	0.020437	0.895459	9	0.015017	0.899243	9
max	0.899716	10	max	0.899716	10	max	0.883633	10	max	0.905866	10
0.910596	0.907285	11	0.911069	0.858562	11	0.901135	0.899716	11	0.913434	0.859981	11
*	0.894513	12	*	0.908231	12	*	0.890255	12	*	0.909177	12
zx=0	0.905866	13	zx=0	0.910596	13	zx=0	0.89404	13	zx=0	0.906339	13
zy=0	0.903027	14	zy=0	0.908231	14	zy=0	0.885998	14	zy=0	0.913434	14
*	0.902081	15	*	0.900189	15	*	0.866604	15	*	0.903027	15
*	0.900662	16	*	0.904447	16	*	0.900662	16	*	0.90492	16
*	0.90965	17	*	0.900189	17	*	0.896878	17	*	0.879849	17
*	0.907758	18	*	0.903974	18	*	0.89877	18	*	0.909177	18
*	0.908231	19	*	0.911069	19	*	0.896878	19	*	0.912961	19

81202	0.83964	0	81602	0.829234	0	811002	0.885052	0	812002	0.828288	0
全样品集	0.877956	1	全样品集	0.891202	1	全样品集	0.857616	1	全样品集	0.891675	1
全测试集	0.891675	2	全测试集	0.905393	2	全测试集	0.905393	2	全测试集	0.90965	2
ret=0.1	0.883633	3	ret=0.1	0.900662	3	ret=0.1	0.907758	3	ret=0.1	0.909177	3
z=20	0.894986	4	z=20	0.888363	4	z=20	0.904447	4	z=20	0.905393	4
it=10000	0.787133	5	it=10000	0.866604	5	it=10000	0.906812	5	it=10000	0.888363	5
average	0.901608	6	average	0.900189	6	average	0.908704	6	average	0.894513	6
0.888931	0.865184	7	0.894205	0.893567	7	0.898368	0.905393	7	0.900473	0.902081	7
stdevp	0.85667	8	stdevp	0.903974	8	stdevp	0.888363	8	stdevp	0.911542	8
0.030596	0.906339	9	0.019669	0.871334	9	0.019298	0.9035	9	0.018502	0.90492	9
max	0.909177	10	max	0.906339	10	max	0.888363	10	max	0.912488	10
0.913434	0.897824	11	0.913907	0.907285	11	0.912961	0.904447	11	0.912961	0.912961	11
*	0.912961	12	*	0.910596	12	*	0.910596	12	*	0.882214	12
zx=0	0.901135	13	zx=0	0.912488	13	zx=0	0.912488	13	zx=0	0.905393	13
zy=0	0.906812	14	zy=0	0.901135	14	zy=0	0.83491	14	zy=0	0.909177	14
*	0.911069	15	*	0.906339	15	*	0.905393	15	*	0.908704	15
*	0.906339	16	*	0.877483	16	*	0.912961	16	*	0.907758	16
*	0.912488	17	*	0.913907	17	*	0.906812	17	*	0.910123	17
*	0.902554	18	*	0.904447	18	*	0.908231	18	*	0.907758	18
*	0.913434	19	*	0.893567	19	*	0.910123	19	*	0.907285	19

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/314293