NLP中的Ngram算法简易原理及overlap_n-gram overlap

查到的大多数博客写的都比较复杂，在看到一个stanford cs276的课件之后，决定按照自己的理解来写一点，权做抛砖引玉了。

假定给予两个词

november

december

则unibram是

n o v e m b e r

d e c e m b e r

bigram是

no ov ve em mb be er

de ec ce em mb be er

trigram是

nov ove vem emb mbe ber

dec ece cem emb mbe ber

如果在计算两个序列之间的overlap的时候，比如对于trigram而言，其

X∪Y= 9

X∩Y =3

因此其overlap是3/9

而在276课件中，是提到了X与Y可以为不同长度。因此，我认为在X和Y的overlap比对中，并不一定需要相同位置的两个一样，即对顺序不敏感。意思是说

nov emb mbe ber ove vem和dec ece cem emb mbe ber的overlap也是3/9

276 课件链接

https://web.stanford.edu/class/cs276/handouts/lecture3-tolerant-retrieval-handout-1-per.pdf