赞
踩
作者|Devyanshu Shukla 编译|Flin 来源|medium
在这篇文章中,我们将讨论关于语言模型(LM)的所有内容
NLP中的语言模型是计算句子(单词序列)的概率或序列中下一个单词的概率的模型。即
句子的概率:
下一个单词的概率:
语言模型常常与单词嵌入混淆。主要的区别在于,在语言模型中,单词顺序很重要,因为它试图捕捉单词之间的上下文,而在单词嵌入的情况下,只捕捉语义相似度(https://en.wikipedia.org/wiki/Semantic_similarity) ,因为它是通过预测窗口中的单词来训练的,而不管顺序如何。
语言是NLP的主要组成部分,在很多地方都有使用,比如,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。