语言模型_语言模型判断完整句子

作者：Monodyee | 2024-04-10 08:05:43

踩

语言模型判断完整句子

语言模型
什么是语言模型
语言模型可以用来判断：是否一句话从语法上通顺，并进行纠正

比较：
今天是周日 - 今天周日是
全民AI是趋势 - 趋势全民AI是

语言模型的作用就是将后者纠正成前者。

通过计算正确率：
P(今天是周日) =60% > p(今天周日是) =20%
p(全民Ai是趋势) =60% > p(趋势全民AI是) =20%

那么如何进行对概率的计算呢？
那么我们就要清楚什么是联合概率：

两个随机变量时：
p(A,B) = p(A|B)*p(B)

四个随机变量时：
p(A,B,C,D) = P(A)*P(B|A)*P(D|A,B,C)

概率方面
概率部分可以参考概率论相关，因此A,B,C,D同样可以是其他的元素，比如汉字：
p(今天,是,春节) = p(今天)*p(是|今天)*p(春节|今天,是)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/397498