当前位置:   article > 正文

spark下的分词--spark+jieba_spark jieba自定义词典

spark jieba自定义词典

在网上找到的相关的spark程序都是spark自带的实例,或者没有python相关的代码,根据自己业务上的使用与调研,现在把涉及的spark相关的程序给介绍一下:

首先1.spark下的切词。对于我这个spark小白来说,切词对我都是挺难的,因为没找到相关的实例。其实spark下是可以直接调用一下结巴jieba切词的。只不过格式要换一下。现在上一下代码:

split_jieba2.py

import jieba

import sys

import os

import re

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/564757
推荐阅读
相关标签
  

闽ICP备14008679号