- 1hdfs namenode -format 报错_hdfs namenode -format为什么显示error: java_home is not
- 2docker常用的命令，很详细_docker images -q
- 3ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？
- 4优先级队列：PriorityQueue常用接口+构造+方法+源码分析+OJ练习_priorityqueue的常见api
- 5【内网穿透】搭建我的世界Java版服务器，公网远程联机_简单创建java服务器
- 6Mysql Too many connections_mysql too many 登录
- 7默认情况下mysql是几字符集_mysql字符集说明
- 8常用去除离群值的算法！_怎么滤除离群值 c语言
- 94-ESP8266+onenet+STM32定时器的PWM应用（onenet云平台远程控制LED灯的亮度）_云平台反向控制led灯原理
- 10BERT 获取最后一层或每一层网络的向量输出_peterchou_simbert-chinese-base
函数对向量的求导_函数对向量求导
赞
踩
我们一般对函数求导，是对单变量求导，但是在机器学习中，会遇到多元函数对向量求导的情况，比如：
f
(
w
⃗
)
=
1
2
∣
∣
w
⃗
∣
∣
2
f(\vec{w})=\frac{1}{2}||\vec{w}||^2
f(w
)=21∣∣w
∣∣2其中，
w
⃗
=
(
w
1
,
w
2
,
⋯
,
w
n
)
\vec{w}=(w_1,w_2,\cdots,w_n)
w
=(w1,w2,⋯,wn)
我们会看到在数学公式推导中会遇到函数对向量的求导：
∂ f ( w ⃗ ) ∂ w ⃗ = 1 2 ( w 1 2 + w 2 2 + ⋯ + w n 2 ) ∂ w ⃗ \frac{\partial f(\vec{w})}{\partial \vec{w}} = \frac{\frac{1}{2}(w^2_1+w^2_2+\cdots+w^2_n)}{\partial \vec{w}} ∂w ∂f(w )=∂w 21(w12+w22+⋯+wn2) = 1 2 ( w 1 2 + w 2 2 + ⋯ + w n 2 ) ∂ ( w 1 , w 2 , ⋯ , w n ) = \frac{\frac{1}{2}(w^2_1+w^2_2+\cdots+w^2_n)}{\partial (w_1,w_2,\cdots,w_n)} =∂(w1,w2,⋯,wn)21(w12+w22+⋯+wn2) = ( ∂ f ( w ⃗ ) ∂ w 1 , ∂ f ( w ⃗ ) ∂ w 2 , ⋯ , ∂ f ( w ⃗ ) ∂ w n ) =(\frac{\partial{f(\vec{w})}}{\partial{w_1}},\frac{\partial{f(\vec{w})}}{\partial{w_2}},\cdots,\frac{\partial{f(\vec{w})}}{\partial{w_n}}) =(∂w1∂f(w ),∂w2∂f(w ),⋯,∂wn∂f(w )) = ( w 1 , w 2 , ⋯ , w n ) = w ⃗ =(w_1,w_2,\cdots,w_n)=\vec{w} =(w1,w2,⋯,wn)=w
所以我们可以看出，一个函数对于一个向量求导，得到一个向量，这个向量的每一维，相当于是这个函数对原始向量的每一维上的变量进行求导，本质上就是求了 f ( w ⃗ ) f(\vec{w}) f(w )关于 w ⃗ \vec{w} w 的梯度 ∇ f ( w ⃗ ) \nabla{f(\vec{w})} ∇f(w )。
