当前位置:   article > 正文

MapReduce setup map(reduce) cleanup示例_maperduce案例里map,clean up

maperduce案例里map,clean up

继承Mapper类可以重写三个方法 

1.setup

  每一个map在创建时执行的方法,也就是说该方法只执行一次,一般用来做一些准备工作,如获得文件名等

2.map

  真正执行分类操作的方法。

3.cleanup

在map完成任务销毁时执行的方法,也只执行一次,一般用来做一些收尾工作

这三个方法都可以像reduce传送数据

代码    取每个电影二十条数据(排序前面写过了,就不写了):

要注意map的个数,如果有多个map,会取出超过二十条数据

  1. package nuc.edu.ls;
  2. import java.io.DataInput;
  3. import java.io.DataOutput;
  4. import java.io.IOException;
  5. import org.apache.hadoop.io.Writable;
  6. import org.apache.hadoop.io.WritableComparable;
  7. public class MovieBean implements WritableComparable<MovieBean>{
  8. private String movie;
  9. private String rate;
  10. private String timeStamp;
  11. private String uid;
  12. public String getMovie() {
  13. return movie;
  14. }
  15. public void setMovie(String movie) {
  16. this.movie = movie;
  17. }
  18. public String getRate() {
  19. return rate;
  20. }
  21. public void setRate(String rate) {
  22. this.rate = rate;
  23. }
  24. public String getTimeStamp() {
  25. return timeStamp;
  26. }
  27. public void setTimeStamp(String timeStamp) {
  28. this.timeStamp = timeStamp;
  29. }
  30. public String getUid() {
  31. return uid;
  32. }
  33. public void setUid(String uid) {
  34. this.uid = uid;
  35. }
  36. public void set(String movie, String rate, String timeStamp, String uid) {
  37. this.movie = movie;
  38. this.rate = rate;
  39. this.ti
声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号