sigmoid函数求导与自然指数_自然指数求导

在神经网络里经常使用sigmoid做激活函数，它的导数是怎么样求解呢？因为要使用它的导数来计算梯度下降。

这个过程如下：

1. sigmoid

函数：f(z) = 1 / (1 + exp( − z))

导数：f(z)' = f(z)(1 − f(z))

求导过程如下：

网上有不少关于sigmoid函数求导的文章（比如来自CSDN的博文sigmoid函数求导与自然指数），但是求导过程中对于怎么由(1/(1+exp(-x)))'一下推导至exp(-x)/(1+exp(-x))^2没有提及。虽然对于熟练函数求导的朋友们不难，但对于刚接触函数求导或者隔了若干年忘记函数求导的朋友们还是有不少疑惑。

这里借助函数的和的求导法则(f(x)+g(x))'=f(x)'+g(x)'，复合函数的求导法则f(g(x))'=f(u)'g(x)'，u=g(x)以及把(1/(1+exp(-x)))'转成((1+exp(-x))^-1)'，那么求导过程就清楚多了：

(1/(1+exp(-x)))'=((1+exp(-x))^-1)'=(-1)((1+exp(-x))^-2)(1+exp(-x))'=(-1)((1+exp(-x))^-2)(exp(-x))'

而(exp(-x))'可以先转成(exp(x)^-1)'，于是她又是一个复合函数的求导，即(exp(x)^-1)对exp(x)的导数再乘上exp(x)对x的导数，又基本初等函数求导公式告诉我们，(exp(x))'=exp(x)，所以(exp(-x))'=(exp(x)^-1)'=(-1)(exp(x)^-2)(exp(x))'=(-1)(exp(x)^-2)exp(x)=(-1)(exp(x)^-1)=(-1)exp(-x)

那么：

(-1)((1+exp(-x))^-2)(exp(-x))'=(-1)((1+exp(-x))^-2)(-1)exp(-x)=exp(-x)((1+exp(-x))^-2)=exp(-x)/((1+exp(-x))^2)

至此，sigmoid函数求导的步骤补充完毕。

原文：https://blog.csdn.net/csdn_zf/article/details/72897617