正定矩阵与半正定矩阵 、奇异矩阵、雅可比、海塞、协方差_正定矩阵的余子式

一、正定矩阵与半正定矩阵

请问谁能用易于理解的语言解释下矩阵的正定及半正定？ - 知乎

M为一个方阵

定义： 一个非零向量X，如果,那么我们就规定这个M方阵为正定矩阵

单位矩阵是正定矩阵 (positive definite)

同理：

  那么这个M矩阵为半正定矩阵

如何判别一个矩阵是不是正定矩阵

1、M的特征值都>0 ,那么这个矩阵为正定矩阵

2、M的特征值都<0 ,那么这个矩阵为半正定矩阵

正定矩阵的性质：

正定矩阵已经是一个非奇异矩阵（行列式不为0）

正定矩阵的代数余子式一定也是一个正定矩阵

如果矩阵M为一个正定矩阵，那么有M=L*Lt,也就是Cholesky分解

如果 A  B 是对称的正定矩阵，那么 A +B 也是正定矩阵

线性代数之——正定矩阵 - 知乎

浅谈「正定矩阵」和「半正定矩阵」

案例：

 为什么协方差矩阵要是半正定的？

二、奇异矩阵

定义：

       奇异矩阵（Singular Matrix）是一个方阵，其行列式的值为零。也可以说，如果一个矩阵的行列式等于零，则该矩阵为奇异矩阵。

性质：

1. 非满秩：行列式为0 那么一定是非满秩 ，矩阵中的行向量或列向量存在一定的线性相关性。

2. 没有逆矩阵：奇异矩阵是不可逆的，不可分解

3. 零空间非零：奇异矩阵的零空间（Null Space）不为空，即存在非零向量使得与奇异矩阵相乘结果为零向量。这是因为奇异矩阵存在线性相关的行向量或列向量。

奇异矩阵在线性方程组求解、矩阵分解和特征值计算等问题中具有重要的意义。例如，对于线性方程组，当系数矩阵为奇异矩阵时，该方程组可能无解或有无穷多解；在矩阵分解中，奇异矩阵无法进行LU分解或Cholesky分解等常见的分解方法；在特征值计算中，奇异矩阵的特征值一般不易求解。

为逆矩阵

伪逆矩阵 的使用-CSDN博客

 三、非奇异矩阵（Non-singular Matrix）

非奇异矩阵（Non-singular Matrix）是指行列式不为零的方阵。非奇异矩阵具有满秩、可逆和零空间为空的特点，因此在各种数学和工程应用中更常见和有用。

SVD分解

【彻底搞懂】矩阵奇异值分解（SVD） - 知乎

奇异值分解（SVD）原理总结

SVD 奇异值分解_左奇异矩阵和右奇异矩阵-CSDN博客

3*3 矩阵变成4*4 矩阵

 Eigen::AngleAxisf angle_axis(M_PI / 3, Eigen::Vector3f(0, 0, 1));
    Eigen::Matrix3f R_12_ = angle_axis.matrix();
    Eigen::Vector3f t_12_(0.1, 0.1, -0.1);
 
    Eigen::Matrix4f  RT = Eigen::Matrix4f::Identity();
    RT.block<3, 3>(0, 0) = R_12_.matrix();
    RT.block<3, 1>(0, 3) = t_12_.matrix();
    std::cout << "except t_12:\n" << RT   << std::endl;

四、雅可比矩阵和黑塞矩阵 

雅可比(jacobian)、黑塞矩阵(Hessian)-CSDN博客

 ex1 

clear all;
clc;
syms x y z
f1=x^2+y^2+3*x*y*z;
%f2=x^3+y^2+4*x*y*z^3;
%f3=x^3+y^2+5*x*y^3*z^3;
% 1 直接计算hessian矩阵
H0=hessian(f1,[x;y;z])
% 2 先求雅可比矩阵，然后再计算 hessian 矩阵
J0=jacobian(f1,[x,y,z]) % 雅可比矩阵
H2=jacobian(J0,[x,y,z])
% 3、先计算梯度，然后再计算hessian 矩阵
G=gradient(f1,[x,y,z])
H3=jacobian(G,[x,y,z])

ex2

syms x y z
f1=x^2*z+5*x-2*y^3;
J=jacobian(f1,[x,y,z]);
% 1 直接计算hessian矩阵
H0=hessian(f1,[x;y;z])

 

 ex3

syms x y z
% 2 先求雅可比矩阵，然后再计算 hessian 矩阵
f2=-(x^2)-4*y^2+3*x+9*y-3*x*y;
J0=jacobian(f2,[x,y]) % 雅可比矩阵
H2=jacobian(J0,[x,y])

 

五、协方差矩阵 

协方差矩阵-CSDN博客