预处理1-Tokens and N-grams_n-gram dictionary

Basic unit of language

• Alphabet (symbol)
• Word (Token)  符号
• Phrase (Utterance)  表达
• Discourse (Document)  论述
• Collection of Discourses (Corpus) 语料
• Collection of Corpus (Corpora)  语料库

Some basics on Words

        words约等于words：有些单词是必须连在一起才是这个意思。例如：New Zealand

English Morphology词法

        词法是建立在有更小的单元-语素（morphemes）组成的单词的方法研究。

        语素（morphemes）分为两部分：主干（Stems）和词缀（Affixes）

        我们又能按照词分开的方法分成两个大类：

        Inflectional  词尾变化的

        Inflectional Morphology关心单词的主干和词缀的结合。产生的词有和原生词有相同的词类。如果是作为一个语法语义目的的是与原生词不同，但彼此相关。

         例：名词和动词。名词变复数/所有格形式（plural and possessive）。动词不同时态的变化（tense of the verb）。词语在变换形式的时