当前位置:   article > 正文

MapReduce实现订单商品的统计_使用 mapreduce 编程统计某超市 1月商品被购买的次数

使用 mapreduce 编程统计某超市 1月商品被购买的次数

mapreduce功能强大,可以处理大量离线数据。业务场景是要统计每个订单中数量情况,并将对应的商品id抽取出来。

数据格式为.csv文件,类型如下所示:

order_id,product_id,add_to_cart_order,reordered
1,49302,1,1
1,11109,2,1
1,10246,3,0
1,49683,4,0
1,43633,5,1
1,13176,6,0
1,47209,7,0
1,22035,8,1
36,39612,1,0
36,19660,2,1
36,49235,3,0
36,43086,4,1
36,46620,5,1
36,34497,6,1
36,48679,7,1
36,46979,8,1
38,11913,1,0
38,18159,2,0
38,4461,3,0
38,21616,4,1
38,23622,5,0
38,32433,6,0
38,28842,7,0
38,42625,8,0
38,39693,9,0

生成的结果格式

1       49302_11109_10246_49683_43633_13176_47209_22035	8
36      39612_19660_49235_43086_46620_34497_48679_46979 8
38      11913_18159_4461_21616_23622_32433_28842_42625_39693    9
数据预处理:需去除.csv文件第一行的表头
sed 1d  order_products.csv > order_produc.csv

map函数:对数据进行转换

  1. import sys
  2. for line in sys.st
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/781083
推荐阅读
相关标签
  

闽ICP备14008679号