困惑度PPL_困惑度多少比较好

作者：你好赵伟 | 2024-05-24 08:02:46

踩

困惑度多少比较好

语言模型中经常使用困惑度来作为语言模型的评价

对于一段句子(sentence) s 由词构成，即： $s=w_1w_2\cdot \cdot \cdot w_n$ ，w代表词

$\large PPL(S)=P(w_1w_2 \cdot \cdot \cdot w_N)^{-1/N}$

对两边都取对数则：

$\large {\rm log} PPL(S)=\frac{-{\rm log}P(w_1w_2 \cdot \cdot \cdot w_N)}{N}=\frac{-\sum\limits_{i=1}^{N}{\rm log}P(w_1w_ 2\cdot \cdot \cdot w_{i-1})}{N}$

所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/616530