Spark MLlib 特征工程系列—特征转换N-Gram

Spark MLlib 特征工程系列—特征转换N-Gram

在Spark中，NGram 是一个特征转换器，用于从输入的词汇序列生成n-gram特征。n-gram 是一种常用的文本处理方法，指的是由 n 个连续的词组成的序列。n-gram 模型在自然语言处理（NLP）任务中被广泛用于捕捉词语之间的关系。

N-Gram

1. 原理

n-gram 是一种从文本中提取连续的n个词的子序列的方法。对于一个句子或单词序列，n-gram 模型会生成所有可能的 n 个连续词的组合。例如：

• 1-gram（unigram）: 每个单词单独作为一个特征。
• 2-gram（bigram）: 每两个连续的单词作为一个特征。
• 3-gram（trigram）: 每三个连续的单词作为一个特征。

n-gram 模型通过捕捉词汇之间的局部依赖关系，有助于在文本处理中保留上下文信息。

2. 使用 NGram 的代码示例

下面是一个使用 Spark 的 NGram 转换器的示例，展示如何生成 n-gram 特征。

import org.apache.spark.ml.feature.NGram
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.appName("NGram Example").getOrCreate()

// 示例数据集
val data 
1
2
3
4
5
6