Spark处理csv文件_spark处理csv数据

作者：weixin_40725706 | 2024-05-22 17:39:11

踩

spark处理csv数据

Spark处理csv文件:
csv数据如下:
在这里插入图片描述首先是如何去除第一行:
将"header"设置为"true",意思是把csv文件的第一行不作为表头
将"header"设置为"fasle"意思是把csv文件的第一行作为表头
第二步将文件转为DataFrame:
创建数组接收,这样处理的好处是:需要哪几列数据根据数组下标提取即可
之后toDF设置每列的表头,结果如下:
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/609235