spark初识-使用rdd与sparksql 分词_spark 分词

作者：小小林熬夜学编程 | 2024-05-13 17:37:30

踩

spark 分词

spark原理

原理啥的就不多说了，这里一共使用了3种方法对文本内容进行分词，当然，是按照分组的形式分词，如果只是简单的分词，将分组去掉就好。

1 sparksql

（1 ）采用sql

为什么要将这个放在第一位呢，因为在我看来，这个是最容易理解的，仅仅只使用了简单的正则以及sql中的一些函数完成了分词。下面，请看代码：

//获取数据 如果数据在MySQL数据库中的使用相应的获取方式，这里是从hive中获取数据
df=spark.sql('''
select order_id,package_name from spark_catalog.nga.app_all
''')
df.show()
//构建临时表
df.createOrReplaceTempView('content ')
//分词 这里采用了explode这个函数，作用是将一行炸裂成多行
word_counter=spark.sql('''select use1
2
3
4
5
6
7
8

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/564719