赞
踩
今年由于疫情原因在家上了半年的大数据课程,半学不学的那种。终于到了7月份要实习的时候,海投了很多公司,在今天下午打完游戏的时候突然接到一个
面试官电话,
刚开始以为又是什么问在不在北京之类的,因为之前已经接到很多个了,后来直接说现在是否可以做个小面试,简单了解一下,鬼使神差的答应了下来,结果之后
电话里的内容让我抓狂。
首先上来就给自挖了个坑
面试官:你说一下你最熟悉的大数据知识
我:就hadoop、hdfs、spark的基本原理啊、zookeeper的选举机制啊这些。(当时也是实在不知道自己应该会啥,啥不会了,在就一紧张说话还有点嘚瑟,就一下子吐露出来这么多,其实自己压根就不太了解多少啊)
面试官:hdfs上传1G文件的流程
我:由客户端向NameNode节点节点发出请求;NameNode向Client返回可以可以存数据的DataNode信息;客户端首先根据返回的信息先将文件分块,一块一般是
128M,1G大约是8块;然后通过NameNode返回的DataNode信息直接发送给DataNode(同时会复制到其他两台机器);dataNode向Client通信表示已经传完数据块
同时向NameNode报告;将所有的数据块都上传结束向NameNode报告表明已经传完所有的数据块。
面试官:是只保存一份还是怎么的
我:啊,在另外两台datanode上备份两份
面试官:也是直接namenode传到datanode上吗
我;对的(这时候感觉应该不是,但是也是真想不起来了)
面试官:那说一下mr的sh
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。