- 1YOLOv8改进 | 注意力机制 | 结合静态和动态上下文信息的注意力机制
- 2一起学大模型 - 动手写一写langchain调用本地大模型（1）_langchain使用本地大模型
- 3基于广义benders分解法的综合能源系统优化规划（Matlab代码实现）_benders分解算法matlab实现
- 4微服务架构从阿里掀起变革！微服务全彩手册趁势崛起 （容器 k8s）_微服务技术 机遇
- 5龙芯3A6000编译PyTorch 2.1.0（含Python 3.8和CMake 3.27.7）_龙芯 python
- 6nlp-生成任务-语言模型_因果语言模型
- 7逃离or拥抱？2020，跟互联网说NO!
- 8业务架构的主题和规则_业务主题分类 规范 标准
- 9【Linux】vim指令大全，收藏这篇就够了_linux vim编辑命令
- 10复杂系统与人工生命：十年研究概览
【深度学习】Softmax 函数_softmax()
赞
踩
Introduction
Softmax函数，又称 归一化指数函数 。
该函数 是最流行的 分类任务目标函数，也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE) 。
Softmax 将向量 等比例压缩 到 [0, 1]之间，且保证 所有元素之和 为1 。
s o f t m a x ( i ) = e h y i ∑ j = 1 C e h j softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}} softmax(i)=∑j=1Cehjehyi
举例：softmax( [1, 2, 3, 4, 1, 2, 3] ) = [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]
Softmax 与 Sigmoid 的 异同
| Softmax | Sigmoid | |
|---|---|---|
| 公式 | σ ( z ) j = e z j ∑ k = 1 K e z k {\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}} σ(z)j=∑k=1Kezkezj | S ( x ) = 1 1 + e − x . {\displaystyle S(x)={\frac {1}{1+e^{-x}}}.} S(x)=1+e−x1. |
| 本质 | 离散概率分布 | 非线性映射 |
| 任务 | 多分类 | 二分类 |
| 定义域 | 某个一维向量 | 单个数值 |
| 值域 | [0,1] | (0,1) |
| 结果之和 | 一定为 1 | 为某个正数 |
[1] 深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点损失(FL))
[2] 深度学习: 目标函数
[3] [Machine Learning] logistic函数和softmax函数
