pyspark explode时增加序号_sparksql中explode后如何加排序标识

作者：盐析白兔 | 2024-07-13 02:05:01

踩

sparksql中explode后如何加排序标识

对于Spark2.4+，可以使用带高阶函数 transformation的explode。

from pyspark.sql import functions as F

demo.select('pois').withColumn("pois2", F.explode(F.expr("""transform(pois,(x,i)-> struct(x as poi,(i+1) as poi_rn))""")))\
.select('pois2.*','pois').show(truncate=False)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/817144