spark下的分词--spark+jieba_spark jieba自定义词典

作者：笔触狂放9 | 2024-05-13 17:47:31

踩

spark jieba自定义词典

在网上找到的相关的spark程序都是spark自带的实例，或者没有python相关的代码，根据自己业务上的使用与调研，现在把涉及的spark相关的程序给介绍一下：

首先1.spark下的切词。对于我这个spark小白来说，切词对我都是挺难的，因为没找到相关的实例。其实spark下是可以直接调用一下结巴jieba切词的。只不过格式要换一下。现在上一下代码：

split_jieba2.py

import jieba

import sys

import os

import re

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/564757