hadoop运行MapReduce

一、启动Hadoop节点

 sudo sbin/hadoop-daemon.sh start namenode
 sudo sbin/hadoop-daemon.sh start datanode
 sudo sbin/yarn-daemon.sh start resourcemanager
 sudo sbin/yarn-daemon.sh start nodemanager
 sudo sbin/mr-jobhistory-daemon.sh start historyserver
1
2
3
4
5

二、用eclipse创建maven



maven项目目录

wordcount代码

导出jar包

将导出的jar包上传到hadoop安装目录下

将测试数据上传到指定目录

sudo bin/hdfs dfs -put /opt/datas/2015082818 /user/huadian/mapreduce/wordcount/input
1

开始测试

sudo  bin/yarn jar wordcount.jar  wordcount.WebLogUvMr /user/huadian/mapreduce/wordcount/input/2015082818 user/huadian/mapreduce/wordcount/out/output1
1

测试结果

查看统计结果

1       5172
100     22
1000    3485
102     176
104     10
106     7
108     9
111     239
113     4
115     19
117     6
119     13
120     25
122     8
124     20
126     10
128     12
131     3
133     111
135     1
137     33
139     11
140     12
142     26
144     11
146     20
151     127
153     144
155     35
157     16
159     152
160     7
162     16
164     1
166     10
168     9
171     61
173     17
175     52
177     24
179     20
180     11
182     21
184     18
188     15
191     13
193     42
195     21
197     19
199     8
201     21
203     31
205     271
207     50
209     18
210     17
212     37
214     4
216     7
223     16
225     63
227     21
229     2
23      895
230     26
232     32
234     13
238     1222
241     20
243     71
245     26
247     85
249     22
25      111
250     37
252     21
254     115
256     41
258     88
261     15
263     4
265     9
267     5
269     3
27      42
270     5
274     48
29      56
294     56
296     15
298     5
30      24
300     16
302     6
304     10
306     2
308     1
311     5
313     6
315     6
317     2
32      25
320     5
326     1
328     4
331     21
333     26
335     8
337     22
339     3
34      17
340     6
342     21
344     4
346     1
348     4
351     16
359     35
360     3
362     3
364     5
368     7
371     5
377     25
379     1
38      244
388     19
391     49
393     8
395     26
397     53
41      330
43      42
45      52
47      43
49      28
50      692
52      400
54      21
56      59
58      70
61      150
63      17
65      14
67      3
69      4
70      2
72      4
74      85
76      34
78      10
81      13
83      14
85      4
87      10
89      5
90      9
92      6
94      14
96      25
98      9
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161