在信息论中,Rényi熵是Hartley熵,Shannon熵,碰撞熵和最小熵的推广。熵能量化了系统的多样性,不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下,Rényi熵构成了广义维数概念的基础。
Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要,它可以用来衡量纠缠。在Heisenberg XY自旋链模型中,作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中,最小熵用于随机抽取器的情况下。
定义:
含参数α的瑞丽熵其中α≥0和α≠1,被定义为
这里,X是一个具有可能结果的离散随机变量1,2,3,…..,n和相应的概率对于i=1,2,….n,而对数基数为2.如果概率是
对全部i=1,…..,n,那么分配的所有瑞丽熵都是相等的:
一般来说,对于所有的离散随机变量X,是一个带有α的非递增函数。
经常可见瑞丽熵和概率向量的p-范数之间的关系:
在这里,离散的概率分布P=(p1,……..,pn)被解释为一个向量Rn,同时pi≥0和Σpi=1
瑞丽熵中α≥0
特例
哈特利或最大熵:![H_ {0}(X)= \ log n = \ log | X |。\,](https://wikimedia.org/api/rest_v1/media/math/render/svg/258ce56686733515b0ac7f2382a51ce5fccfd174)
香农熵:![H_ {1}(X)= - \ sum_ {i = 1} ^ {n} p_ {i} \ log p_ {i}。](https://wikimedia.org/api/rest_v1/media/math/render/svg/8b696a788745907864fb2f246219c20826846c39)
碰撞熵,有时被称为“Rényi熵”,是指α = 2 的情况,
其中,X和Y ^是独立同分布的。
最小熵:
在极限中 收敛到最小熵
: