这个屌丝很懒，什么也没留下！

spark-shell读取hdfs数据_spark-shell读取hdfs路径下的文件

作者：Gausst松鼠会 | 2024-06-02 14:04:48

spark-shell读取hdfs路径下的文件

打开spark-shell，输入下面代码（注意“yourPATHinHDFS”这里换成自己文件的路径）

val textFile = sc.textFile("hdfs://localhost:9000/yourPATHinHDFS/test.txt")

因为我的是json数据，就可以通过下面这条命令显示

textFile.collect

textFile.count()

textFile.first()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/663000