集成学习 模型融合方法 投票法Voting 硬投票与软投票的区别_soft投票策略

软投票（Soft Voting）和硬投票（Hard Voting）是集成学习中常见的两种投票策略。

硬投票（Hard Voting）是一种简单的投票策略，基于多数表决的原则进行决策。在硬投票中，每个基本模型都对样本进行预测，并投票选择出现次数最多的类别作为最终的预测结果。如果存在平局，则通常选择其中一个类别作为结果。

软投票（Soft Voting）是一种基于概率的投票策略。在软投票中，每个基本模型都会给出每个类别的概率或置信度估计，然后对这些概率进行平均或加权平均。最终的预测结果是具有最高平均概率（或加权平均概率）的类别。

具体而言，对于二分类问题，硬投票会选择出现次数最多的类别，而软投票会选择平均概率最高的类别。

例如，假设有3个基本模型进行二分类任务的预测，它们的预测结果如下：

模型1：类别A
模型2：类别A
模型3：类别B

在硬投票中，类别A出现的次数为2次，类别B出现的次数为1次，所以最终的预测结果是类别A。

在软投票中，假设模型1对类别A的概率为0.8，模型2对类别A的概率为0.6，模型3对类别B的概率为0.9。则计算平均概率后，类别A的平均概率为(0.8+0.6)/2 = 0.7，类别B的平均概率为0.9。因此，最终的预测结果是类别B。

需要注意的是，软投票要求基本模型能够输出类别的概率或置信度估计，而硬投票只需要基本模型的类别预测结果。软投票可以更充分地利用基本模型的输出信息，但需要确保基本模型的概率估计是可靠的。在某些情况下，硬投票可能更简单且有效，特别是当基本模型之间的差异较小时。