Softmax中温度（temperature）参数_softmax temperature

在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。Softmax函数的原始形式如下：

• 1. 高温度（Soft）： 当温度 T 较高时，指数项的差异被拉大，使得概率分布更加平滑，更趋向于均匀分布。这可以帮助模型更容易地对不同类别进行区分，减小模型的过度自信，提高对不确定性的处理能力。
• 2. 低温度（Hard）： 当温度 T 较低时，指数项的差异被压缩，使得概率分布更加尖锐，更趋向于对最可能的类别给予更高的概率。这样的输出更加集中，使得模型更加自信，但也更容易过拟合训练数据。

因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。