大数据开发工程师面试题(附答案)

之前采访毕业生的时候，有小伙伴提出意见，想看小编分享一些面试的干货，于是小编不负众望，今天给大家带来了一篇大神级面经，希望可以帮助即将毕业或正在找工作的小伙伴儿们，祝你们早日找到心仪的工作！

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴
 

MapReduce

 

1. 不指定语言，写一个WordCount的MapReduce

我：最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下：

 

 

补：至于java版本，虾皮博主的一篇文章讲解的非常细致： 
Hadoop集群（第6期）_WordCount运行详解

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html

 

2. 上述写的程序中.map((_,1))的输出结果是什么

我：通过flatMap将其扁平化，而.map((_,1)) 则是每个出现单词，1这样的形式展现，此时还没归并。

 

3. 你能用SQL语句实现上述的MapReduce吗？要求按照基于某个字段的值的频次倒序,并且以维度——频次的形式结果展现?

 

我：基于某个字段——决定了要用group By，频次要用count聚合，倒序自然少不了desc。 

补：框架搭好就是往里塞了：

 

 

4.给你一份乱序的100万个数字的文件，你如何来排序࿱