当前位置:   article > 正文

瑞利商 瑞利熵

瑞利熵

瑞利商  Rayleigh quotient 
瑞利熵  renyi entropy      也称Rényi熵  瑞丽熵


瑞利商  定义为函数R(A,x): R(A, x) = \frac{x^{H}Ax}{x^{H}x}
其中A为nxn的实对称矩阵(其实原定义中是埃尔米特矩阵,不过机器学习中遇不到复数所以就保留在实对称矩阵了)

这是一个关于向量x的函数, 它的最大值和最小值 分别对应着 A的最大特征值和最小特征值 这也是瑞利商很重要的一个性质
瑞利商经常出现在降维和聚类任务中,因为降维聚类任务往往能导出 最大化最小化瑞利商的式子,进而通过特征值分解的方式找到降维空间
而 p(拉普拉斯矩阵, 瑞利商) 这个联合概率比较高,详细可以直接搜一下 这两个关键字。 大体是因为 拉普拉斯矩阵 本质是一种基于欧氏距离的测度,构造出来的二次型转为拉氏矩阵,转为瑞利商的问题。


而Rényi熵是Hartley熵,Shannon熵,碰撞熵和最小熵的推广。

H = \frac{1}{1-q}ln \sum_{i=1}^{N} p_{i}^{q}
当q趋近0,含义是与概率密度无关,更加平等的衡量 所有可能的事件
当q=0时, R (q)=log(n) 即计算出了元素的个数的对数
当q=1时, 就是香农熵

二者之间应该没有直接的关联。只是我之前以为只有一个这样的概念,都还有个广义瑞利商/熵.. 中文名字太像了,刚开始对不起来时 我以为人家写的是错别字.. 然后,有些真的是错别字..

本文参考了包括但不限于: https://zhuanlan.zhihu.com/p/58718563

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/570846
推荐阅读
相关标签
  

闽ICP备14008679号