贝叶斯优化文摘_贝叶斯和粒子群的区别

相关调参算法

机器学习即机器通过某种算法学习数据的计算过程，学习得到的模型本质上是一些列数字，如树模型每个节点上判断属于左右子树的一个数，或者逻辑回归模型里的一维数组，这些都称为模型的参数。那么定义模型属性或者定义训练过程的参数，我们称为超参数，超参数的选择对模型最终的效果有极大的影响。如复杂的模型可能有更好的表达能力来处理不同类别的数据，但也可能因为层数太多导致梯度消失无法训练，又如learning rate过大可能导致收敛效果差，过小又可能收敛速度过慢。

机器学习模型超参数调优一般认为是一个黑盒优化问题，所谓黑盒问题就是我们在调优的过程中只看到模型的输入和输出，不能获取模型训练过程的梯度信息，也不能假设模型超参数和最终指标符合凸优化条件，否则的话我们通过求导或者凸优化方法就可以求导最优解，不需要使用这些黑盒优化算法，而实际上大部分的模型超参数也符合这个场景。其次是模型的训练过程是相对奢侈的，不能通过快速计算获取大量样本，我们知道DeepMind用增强学习模型DQN来打Atari游戏，实际上每一个action操作后都能迅速取得当前的score，这样收集到大量样本才可以训练复杂的神经网络模型，虽说我们也可以用增强学习来训练超参数调优的模型，但实际上一组超参数要训练一个模型需要几分钟、几小时、几天甚至几个月的时间，无法快速获取这么多样本数据，因此需要有更“准确和高效”的方法来调优超参数。

调参方法有

自动调参算法，大家可能已经知道了Grid search（网格搜索）、Random search（随机搜索），还有Genetic algo