- 1llama 2 github官方文档_llama2文档
- 2Unet网络---网络结构和pytorch实现_unet的pytorch代码
- 3Pytorch之contiguous函数_pytorch contiguous()
- 4NLP基本任务_nlp步骤基本任务
- 5吴恩达机器学习作业2：逻辑回归（Python实现）_吴恩达逻辑回归python
- 6Docker（十三）：OpenStack部署Docker集群
- 7自然语言处理: 第十六章RAG的优化技术
- 8Unable to load weights from pytorch checkpoint file for ‘bert-base-uncased‘ at ...
- 9Ace2005英文数据解析过程(事件抽取)_ace2005英文数据集
- 10Python 的 AIML_python的aiml
特征值求导推导_特征值的导
赞
踩
设矩阵
A
A
A的第
i
i
i大特征值为
λ
i
\lambda_i
λi， 对应特征向量
v
i
v_i
vi，
A
=
A
H
A=A^H
A=AH 求：
∇
A
λ
i
=
∂
λ
i
∂
A
∗
\nabla_A\lambda_i=\frac{\partial \lambda_i}{\partial A^*}
∇Aλi=∂A∗∂λi
目标： 写出
d
λ
i
=
t
r
(
B
d
A
H
)
d\lambda_i=tr(BdA^H)
dλi=tr(BdAH)
则有
∇
A
λ
i
=
B
\nabla_A\lambda_i=B
∇Aλi=B。
根据特征值定义：
A
v
i
=
λ
i
v
i
,
v
i
H
v
i
=
1
Av_i=\lambda_iv_i, v_i^Hv_i=1
Avi=λivi,viHvi=1
有：
d
(
A
v
1
)
=
d
A
∗
v
1
+
A
d
v
i
=
d
(
λ
i
v
i
)
=
d
λ
i
∗
v
i
+
λ
i
(
d
v
i
)
(1)
d(Av_1)=dA * v_1 + Adv_i =d(\lambda_iv_i)=d\lambda_i *v_i +\lambda_i (dv_i)\tag{1}
d(Av1)=dA∗v1+Advi=d(λivi)=dλi∗vi+λi(dvi)(1)
以及：
d
(
v
i
H
v
i
)
=
d
(
1
)
=
0
=
2
v
i
H
d
v
i
⇒
v
i
H
d
v
i
=
0
d(v_i^Hv_i)=d(1)=0=2v_i^Hdv_i\Rightarrow v_i^Hdv_i =0
d(viHvi)=d(1)=0=2viHdvi⇒viHdvi=0
将式(1)左右左乘
v
i
H
v_i^H
viH， 得到：
v
i
H
(
d
A
)
v
i
+
v
i
H
A
d
v
i
=
v
i
H
(
d
λ
i
)
v
i
+
v
i
H
λ
i
(
d
v
i
)
v_i^H(dA)v_i +v_i^HAdv_i=v_i^H(d\lambda_i)v_i+v_i^H\lambda_i(dv_i)
viH(dA)vi+viHAdvi=viH(dλi)vi+viHλi(dvi)
而
v
i
H
A
=
λ
i
v
i
v_i^HA=\lambda_iv_i
viHA=λivi, 因此
v
i
H
A
d
v
i
=
0
v_i^HAdv_i=0
viHAdvi=0。 类似的，
v
i
H
λ
i
(
d
v
i
)
=
0
v_i^H\lambda_i(dv_i)=0
viHλi(dvi)=0。
因此：
v
i
H
(
d
A
)
v
i
=
v
i
H
(
d
λ
i
)
v
i
=
v
i
H
v
i
d
λ
i
=
d
λ
i
v_i^H(dA)v_i=v_i^H(d\lambda_i)v_i=v_i^Hv_id\lambda_i=d\lambda_i
viH(dA)vi=viH(dλi)vi=viHvidλi=dλi
因此
(
d
A
=
d
A
H
)
(dA = dA^H)
(dA=dAH)
d
λ
i
=
t
r
(
v
i
v
i
H
d
A
H
)
d\lambda_i = tr(v_iv_i^HdA^H)
dλi=tr(viviHdAH)
∇
A
λ
i
=
B
=
v
i
v
i
H
\nabla_A\lambda_i=B = v_iv_i^H
∇Aλi=B=viviH
