超全面的大数据面试题，一道比一道难，快来挑战一下吧

【过往记忆大数据】已开通技术交流及招聘求职内推群，加微信号fangzhen0219 为好友后入群。

本文全文篇幅1万字左右，从数据结构到Java再到大数据都有整理，可以先收藏起来，查漏补缺。

Java基础

1、Queue和Stack你平时有用过么，说说你常用的方法，他们的区别在哪呢？

2、了解java的异常吗，有什么区别，常见的异常有哪些呢？

3、  两个字面值相同的Integer，它们两个用等于号去比较，结果是true还是false？（这个题要分两部分去回答，结果可能为true，也可能为false。因为有缓存）

4、可以讲一下你常用的集合类么？他们的实现类有哪些？

5、 ArrayList、LinkedList的区别，底层的实现呢了解吗，有没有什么优缺点，分别适合于什么样的场景，多线程环境下，有没有安全的list的实现类呢？

6、 其他数据结构的了解吗？LinkedHashMap、ConcurrentSkipHashMap（作为一个扩展，面试的时候问到的不是很多，能答出来挺好，答不出来也没关系）

7、 说一说你对HashSet的理解，越详细越好 ( tip：底层是用hashMap实现的)，treeSet有了解吗？聊一聊？

8、HashMap的疯狂试探：

    a.  HashMap的底层数据结构是什么样子的

    b.  了解hash冲突吗？它是如何解决hash冲突的

    c.  请你简单叙述一下hashMap的put和get操作，当然，能说多细就说多细？

    d.  Jdk7和jdk8中对hashMap做了什么改进嘛（红黑树）？

    e.  有没有其他的解决冲突的办法呢

    f.  HashMap中的hash函数了解吗？那他的扩容机制了解吗？

    g.  HashMap为什么扩容是2倍呢，可以说说嘛？

    h.  假如说我加入一个键值对，这个时候出现了冲突，它只怎么把这个节点加入进去？是加入到当前bucket所对应的链表的头结点还是尾节点？（答不上来可以问一个稍微简单的，equals和 == 的区别，以及其中hashCode的作用）

    i.  可以说说什么条件下，可以把一个链表转成红黑树呢？它里面的大概流程是什么，了解吗？

    j.  有没有想过为什么选用了红黑树，而不是其他的数据结构，譬如说二叉树，二叉查找树，或者其他的树？

    k.  在高并发大流量的情况下，hashMap有什么问题吗，会不会造成cpu达到100%？如果会，那是在哪一步可能会出现这个问题呢（插入、删除、查找、扩容）？

9、ConcurrentHashMap的疯狂试探：

    a.  他和HashTable的区别呢？

    b.  说说你对JUC包的了解？

    c.  ConcurrentHashMap中是怎么加锁的？

    d.  1.7和1.8中，ConcurrentHashMap的区别是什么？

    e.  ConcurrentHashMap是怎么做到线程安全的呢？（CAS和锁）

    f.  为什么会抛弃分段锁，它有什么毛病吗（上面一个题回答上才可以问这个）？

    g.  知道红黑树的transfer过程么？简单的描述一下

10、多线程下的疯狂试探：

    a.  多线程了解吗？说说线程的生命周期？

    b.  线程池有用到过吗？怎么用的，jdk有提供那些线程池（总共提供了四种）？

    c.  线程的状态有哪些呢？

    d.  线程池的核心参数有哪些？（核心线程数、最大线程数、时间、时间单位、队列、拒绝策略、默认的线程工厂）

    e.   Wait，yeild，stop，sleep、join、start、run的区别和如何使用？

    f.   接着上题：这四种有什么区别吗，你用过哪一种，可能存在什么问题吗？

    g.  接上题：拒绝策略有哪些呢？了解吗？聊聊？

    h.  接上题：你刚才说了队列，线程池中的队列有哪些？有界队列、无界队列、同步队列都有了解吗？聊聊？

    i.  如何实现一个消费者和生产者的循环消费和生产呢？（有两种方式，一种是通过锁，lock或者Synchronize，还有一个是通过ArrayBlockingQueue实现）

    j.  你可以实现线程之间的相互通信吗？如何实现？要不写一个？

11、 线程安全的疯狂试探：

    a.  Synchronzie了解吗？谈谈你的理解

    b.  在一个普通方法上加synchronize和在一个静态方法上加synchronize有什么区别（对象锁和类锁的的区别）？

    c.   Synchronize和lock有什么区别呢？说说你对lock的理解？

    d.   Lock的公平和非公平锁？

    e.   说一说volitaile为什么保证不了原子性，可以保证可见性嘛？如何保证的（jvm的多线程的内存模型有关系）

    f.   了解CountDownLatch么，CyclicBarrier的区别呢？

    g.  Synchronize的实现原理知道吗？moniter的实现机制呢，为什么加了Synchronzie关键字，就可以在多线程下是安全的（这个回答要从java对象的Object头来回答）

    h.  类锁和对象锁的区别呢？字节码的体现呢？

    i.  Java中的自旋锁、偏向锁、读写锁、重锁等了解吗？

    j.   了解java重对象的对象头嘛？有哪些属性和字段呢？

    k.   Aqs(AbstractQueuedSynchronizer)了解吗？它和lock的关系？说说aqs中的核心思想?

    l.    Lock中存在锁升级嘛，他是可重入得嘛，那Synchronize是可重入得嘛，有没有锁升级的概念？

    m.   Volitaile了解吗？他的作用是什么呢，内存语义是什么呢？有没有了解过cpu的缓存一致性协议？

    n.   还知道其他的juc类嘛，有哪些呢（譬如lockSupport）？

12、 jvm的疯狂试探：

    a.   了解jvm么？jvm的内存模型？

    b.   Java如何判断一个对象是否还活着呢？

    c.  Java的类加载了解吗？ 

    d.  Java类加载器了解吗，有哪些呢？那它的双亲委派了解吗？

    e.   Jvm指令你知道哪些（jps，jstack，jinfo，jmap……），都有什么作用呢？

    f.   Java的垃圾回收算呢，了解吗,G1回收算法了解吗？

    g.  Jvm参数你了解吗，知道多少说多少？

    h.    在实战中有进行过jvm调优嘛，怎么做的，

    i.    Java的对象年龄知道吗，有什么作用吗？

    j.    Young GC和fullGC了解吗，如何触发，如果在你的项目中，频繁出现young GC 怎么办？

13、设计模式的疯狂试探：

    a.    你了解的设计模式有哪些？

    b.   可以写一个单例模式嘛，工厂模式呢，抽象工程模式解决了什么问题？

    c.   策略模式、责任链模式、适配器模式写一个，写不出来的话，java中在哪用到了这些模式

    d.   代理模式了解吗，会写吗，jdk代理和cglib代理的区别呢，说说你的理解？ 

数据结构与算法

1、排序算法了解什么？能不能手写一个快速排序、或者归并排序，堆排序有了解吗？

2、给你一个一元二次方程公式，你写一个方法，用计算机语言实现它。

3、图了解么，有向图呢？你可以实现一个有向图么？（假如他回答的是二维矩阵，可以反问他有没有更好的解决方案呢，因为这个图可能是个稀疏矩阵）

4、接上题，在图中，如何判断两个节点的联通性，可以写代码写出来么？

5、给你一个1T的Int文件，然后你只有一台内存是8G的机器，如何用最快的方法，求出里面出现频率最高的topN个数？

6、算法的时间复杂度和空间复杂度了解吗？说说你了解的算法的时间复杂度和空间复杂度。

7、 二叉树了解吗，树的广度优先算法和宽度优先算法了解吗？写一个他的前序（中序、后序）遍历可以么（递归和非递归的方式都可以写出来么）？

8、给你一个字符串，请检查中间出现的括号的正确性，譬如：（{[]}），（（（）））这都是个合法的字符串，（（）（））（（（）这就不是一个合法的字符串；

9、给你一个单向链表，检测它有没有形成环？

10、给你一个单向链表，如何反转，可不可以把空间复杂度降低到O(1)级别？

11、写一个字符串匹配算法，判断在一个字符串中是否包含另外一个字符串（一般都会说循环去比较，这样的时间复杂度很高，有一个算法是KMP，面试者要是能提到KMP都就很不错了，因为很多面试官都不知道，也不会）？

12、可以用两个栈模拟一个队列么？

13、如何判断两棵树相不相等

14、 动态规划有了解吗？

    a.   给你一个机器人，它每次只能向右或者向下走一步，其中，中间有一个障碍物，不可以经过，请问，在一个n*m的矩阵中，这个机器人总共有多少种走的方法？（答不出来就降低一下难度，把中间的那个障碍物去掉）

    b.   青蛙跳知道吗？给你一个数组，里面的每一个数字代表青蛙可以前进的最大的步数，如何判断这个青蛙可不可以达到终点；譬如2，3，4，1就可以，1，2，1，0，1就不可以；

    c.   爬楼梯，假设有一个n阶的楼梯，你每次都只能爬1或者2个台阶，请问有多少种不同的方法可以爬上去呢？

    d.   给你一个整数数组，找到一个具有最大和的连续子数组（子数组至少包含一个元素），返回最大值

    e.   给你一个容量为V的背包，现在有N件商品（有重复，相同的商品可以随意取），每件商品的体积是v1，价值是w1，请问，这个背包所能容纳的最大价值是多少？

    f.    一个100层高的楼，有两颗鸡蛋，你需要用最少的次数找到那个临界点，这个临界点以上的楼层上摔下去，鸡蛋都会碎掉，以下的楼层，鸡蛋是不会碎的，（扩展，加入现在是N层高的楼房，你现在有m个鸡蛋，m>=1，用最少的次数找到那个临界点）

数据库大汇总

1、用过mysql嘛？了解吗？

2、Mysql事务了解吗，隔离级别呢，每种隔离级别会出现什么问题？

3、Mysql的锁了解吗（表锁、行锁、间隙锁，读写锁）？

4、Mysql引擎知道吗，innodb和myisam的区别知道吗，说说底层的实现？

5、聚簇索引和非聚簇索引知道么，有什么区别？

6、B+树知道吗？为什么使用B+树？

7、分库分表做过吗，如果让你去实现分库分表，你有什么需要考虑或者注意的嘛？

8、了解死锁嘛？知道他是怎么产生的嘛，如何避免呢？

9、Sql优化了解过吗？说说你的理解，给你一条sql，你会怎么优化？

框架

1、redis大家庭：

    a.  redis是什么，能干嘛，怎么用？

    b.  Redis的基础数据类型有哪些？

    c.  Reids除了这些，还有哪些数据结构，能解决什么问题？

    d.  Redis集群有搭建过么，说说你的实现

    e.  Redis如何实现分布式锁    

    f.  Redis的支持事务么？

    g. 位图了解吗？

    h. 布隆过滤器了解吗，他的原理是什么呢？

    i.  Redis的通信协议你知道嘛？

    j.  Redis中的数据结构底层了解吗？string的编码、list的编码、zset的编码；

    k. 在集群环境下，Redis的分布式锁一定可靠吗，redis社区有没有提供可靠地分布式锁的集群方案（有，红锁）?

    l. Redis的持久化你知道么，说说rdb和aof的区别

    m.  Aof瘦身知道么？如何瘦身

    n.  Redis的拒绝策略你知道么？那它的淘汰策略你知道么

    o.  Redis的哨兵模式呢，了解吗？

    p.  Zookeeper了解吗，用zookeeper实现分布式锁，和redis实现有什么不同呢，说说他们的原理？

2、Spring大家庭：

    a. Autowire和Resource 的区别

    b. 谈谈你对spring的理解，它干了什么？

    c. Spring的依赖注入和切面呢？

    d. Spring的事务了解吗，他的传播机制呢

    e.  Spring的aop切面详细说说，你的应用场景呢？

    f.  Springmvc用过吗？了解他的启动流程嘛？说说你的看法

    g.  Spring中的bean的生命周期呢，了解吗？如何扩展一个bean的生命周期？

    h.  Spring源码读过吗？有没有想过他是如何解析在xml中定义的bean的。

    i.  在spring的配置文件中加入component-scan标签，它就可以自动加载所有添加相应注解的java类，这个是怎么做到的呢，你知道嘛？

    j.  Dubbo了解吗？dubbo是怎么和spring想结合的？

3、消息中间件大家庭：

    a.  你了解消息中间件有哪些？

    b.  谈谈你对topic和partition的理解？

    c.  Kafka中的isr和osr有了解吗？

    d.  Kafka的高水位你知道嘛？

    e.  Kafka的分区器、拦截器、序列化器你了解吗？

    f.  消息的可靠性怎么保证？

    g.  消息丢失怎么办？kafka有什么保证策略？（我了解kafka，你们也可以问问其他的，譬如rocketMq）

    h.  Kafka的事务你了解过吗（这个特别难，一般别问昂）？

4、zookeeper大家庭：

    a.  谈谈你对zookeeper的理解？

    b.  Zookeeper的节点类型你知道么？

    c.  Zookeeper的心跳机制呢？

    d.  Zookeeper的优势在哪？

    e.  知道zookeeper的watch嘛？

    f.   Cap理论知道吗？

    g.  Paxos算法呢，了解吗？

5、springBoot大家庭：

    a.  什么是springboot？

    b.  为什么要用springboot呢？

    c.  Spring boot 的核心配置文件有哪几个？他们的区别是什么？

    d.  Spring boot 的配置文件有哪几种格式？区别？

    e.  Spring boot的核心注解是那个？它主要由哪几个注解组成的？

    f.   如何理解springboot的配置加载顺序？

离线方向

1.  数据优化中，需要注意哪些关键词

2.  Uninon 跟uninon all 的区别

3.  除了distinct外如何使用SQL对数据去重

4.  项目中etl过程

5.  Spark的运行流程

6.  Sql开窗函数，开窗函数中row_number与rank的区别

7.   Avg、sum、count 函数，在某列有空值的情况下，结果会有哪些不同

8.   一个表两个字段，一个id，一个values;values有连续相同；但是有缺失，找出缺失的地方补全(连续缺失的字段如何补全)

9.  数据仓库的基本原理

10. 数据表的各个模型，例如（雪花模型），简述

11. 数据优化中除了用过mapjoin之外，还用过哪些join(不是常见的五种),简述

12. 修改批量文件中的词

13. Shell脚本的定时任务

 

1.英语自我介绍，说一下遇到的最大的挑战

2.union和union all的区别

3.给了个题目，一个表两个字段，一个是id，一个是value，value是连续相同的，但是有缺失的，找出来缺失的地方补全

4.去重的操作

5.spark提交任务的流程

6.Spark oom怎么处理

7.join有哪些？mapsidejoin是什么知道吗（不知道，大概猜了下，然后就没继续问）

8.Linux指令用过哪些？

9.用shell直接查找到文件中的一个词，然后替换（这个不会）

10.Data modeler用过没

11.维度建模什么情况

 

1.用英语介绍下数据仓库和数据集市的区别

2.讲下 linux 免密登陆

3.介绍下spark执行流程

4.spl 开窗函数

5.shell 脚本读取文件

6.项目中最自豪的事情

7.数据库中count(*) 和count(1) 在什么情况下数据不一致

8.最有压力的事情

9.shell 脚本替换文件内容，替换文本

10.数据倾斜调优

 

1.英语介绍一下olap和oltp的区别

2.olap的产品知道哪些

3.数仓模型建设

4.对表的设计

5.data modeler工具

6.项目中的etl过程

7.统计人员使用什么工具查询

8.数据报表工具知道哪些

9.工作主要涉及的技术有哪些

10.每日数据量多少，存量多少

11.如何通过sparksql对数据进行更新

12.hbase数据如何更新

13.两表join跑不出数据会是什么原因，如何解决

14.如何进行mapjoin

15.开窗函数

16.linux命令考查

17.hdfs上跨节点如何数据迁移

18.免密登录如何实现

19.ip映射是记录在哪个文件中

20.如何批量修改文件中某一字符串

21.如何确保项目成功交付

22.项目交付时如何进行数据验证

23.项目中最有成就感的事情

Spark相关

Q: Spark任务提交后的流程

A: 只要能说出来sparkContext, DAG, Stage, Executor 就大致上应该了解些。

详细答案参考：

1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；

(2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上；

(3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task

(4)Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

(5)Task在Executor上运行，运行完毕释放所有资源。

 

Q: Spark的API有哪两大类？分别解释一下和举个例子？

A: Transformation & Action.Transformations是转换操作，如map, filter, union, reduceByKey等，Actions是执行操作，如count, collect, reduce, saveAsXXX等

 

Q: Spark中的union属于宽依赖还是窄依赖? 有无shuffle?

A:  属于窄依赖，无shuffle

 

SQL: 

Q: union all 和 union 有什么区别？哪个性能好？

A: union all 不去重， union会去重。Union all性能好，因为无需额外去重

 

Q: 如何判断一张表里某个字段有重复？

A:  利用COUNT 加HAVING ，答到这个的一般没问题, 具体如下：

     SELECT COL, COUNT(1) AS CNT FROM TABLEGROUP BY 1 HAVING CNT > 1

 

Q: 有一张表有两个字段，分别是商品ID和商品价格，如何取到商品价格是前10名的所有商品ID？

A:  如果只能想到ORDER BY + LIMIT的，说明SQL较弱。知道用窗口函数(PARTITION BY)的话，至少说明应该不止做过简单的SELECT * FROMTABLE，但想到用row_number()的话。。不行， 如果会问价格是否有重复的话，说明对问题考虑得算周全，因为价格通常都会重复，ID是一般唯一的，如果知道rank() , dense_rank()的话基本就没问题了。当然也有不用partition by 的方式，但步骤较多

 

数仓:

Q:  数据仓库一般的分层有哪些

A:  不同公司叫法不同，但是可以让他解释每层分别放什么样的数据， 下面是网上抄的，大同小异，知道基本概念就行

ODS：Operation Data Store

原始数据

DWD(数据清洗/DWI) data warehouse detail

数据明细详情，去除空值，脏数据，超过极限范围的

明细解析

具体表

DWS(宽表-用户行为，轻度聚合) data warehouseservice ----->有多少个宽表？多少个字段

服务层--留存-转化-GMV-复购率-日活

点赞、评论、收藏;

轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store

做分析处理同步到RDS数据库里边

 

Q:  维度表和事实表分别是什么？举些例子？

A:  简单解释：

事实表就是交易表。

维度表就是基础表。

二者的区别：

维度表的冗余很大，主要是因为维度一般不大(相对于事实表来说的)，而维度表的冗余可以使事实表节省很多空间。

事实表一般都很大，如果以普通方式查询的话，得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。

事实表一般是没有主键的，数据的质量完全由业务系统来把握。

SQL相关

distributeby 、sort by 、cluster by 、order by 区别？

1). order by 只有一个reduce负责对所有的数据进行排序，若大数据量，则需要较长的时间。建议在小的数据集中使用order by 进行排序。

2). order by 可以通过设置hive.mapred.mode参数控制执行方式，若选择strict，则order by 则需要指定limit（若有分区还有指定哪个分区）；若为nostrict，则与关系型数据库差不多。

3). sort by 基本上不受hive.mapred.mode影响，可以通过mapred.reduce.task 指定reduce个数，查询后的数据被分发到相关的reduce中。

4). sort by 的数据在进入reduce前就完成排序，如果要使用sort by 是行排序，并且设置map.reduce.tasks>1,则sort by 才能保证每个reducer输出有序，不能保证全局数据有序。

5). distributeby 采集hash算法，在map端将查询的结果中hash值相同的结果分发到对应的reduce文件中。

6). distributeby 可以使用length方法会根据string类型的长度划分到不同的reduce中，最终输出到不同的文件中。length 是内建函数，也可以指定其他的函数或这使用自定义函数。

7). cluster by 除了distribute by 的功能外，还会对该字段进行排序，但是排序只能是升序排序，不能指定排序规则为ASC或者DESC，所以cluster by = distribute by +sort by 。

 

请简述以下sql 的 执行顺序是什么？

 

答：

from -> where -> group by ->having -> select -> order by -> limit

 

问：（1）两条语句的执行结果是否一样？为什么？

   （2）假设，数据量很大的情况下，您会选择哪种语句执行？也可以自行开发

 

答：1）由于left join,right join,full join的特殊性，不管on上的条件是否为真都会返回left或right表中的记录，full则具有left和right的特性的并集。

      sql 语句 1  中 采用的是left join,所以 on 里的 t1.id <10  对左表 t1 不起作用，结果还是会返回t1 表的所有数据          

       sql 2 则是先 通过 on 上的条件，将两表关联，在最终关联好的表上，在进行过滤，所以只会返回t1.id < 10 的所有数据

    2) 当数据量很大的情况下，基于上述情况我会选择 sql 2 ，但是性能不高,可以采用以下查询

           select

             tmp_t1.id,tmp_t1.xxx,t2.xxx

           from

           (

              select * from t1 where t1.id < 10

           ) tmp_t1 left join t2

           on tmp_t1.id = t2.id 

count(distinct user_id) 和 group by user_id 之后 求 count  两者有什么区别？

  首先要清楚，count(distinct) 的原理机制，首先他是将数据通过map端发往一个reduce，之后reduce接收到数据之后，会将数据放入到 hashset中去重，之后cleanUp() 方法，在执行最后的逻辑，比如:计算hashset的size等。

这里就出现了一些问题，

1）数据都发往一个reduce会造成数据倾斜，

2）程序从分布式变成单机程序，影响效率

3）程序执行过程中，只产生一个job

但也不是绝对的，当数据量很小的时候，此时我们并不需要采分布式执行，一个job运行足矣，但是，当数据量比较大的时候，这时count(distinct) 就暴露除了大大的弊端，所以，此时，不应该采用此法来实现去重

group() by  count()  当数据量比较大的时候，采用此法，先分组，这时已经在map端实现了去重机制，之后数据发往reduce 数据量已经变得很小了，并且此法涉及到shuffle ，所以reduce的压力不会集中在某个上，并且会产生多个job。

1.1 group() by  count()  一定比count(distinct) 性能要好吗？

不一定，当数据量比较大的时候采用group() by  count() 会比count(distinct) 要好，但是在数据量比较小的时候，一个job就可以处理，没必要用两个job，也没必要shuffle，所以调优看情况而定。

作者丨无精疯
来源丨大数据肌肉猿
过往记忆大数据欢迎大数据开发人员投稿，投稿请联系微信：fangzhen0219
 

【过往记忆大数据】已开通技术交流及招聘求职内推群，加微信号fangzhen0219 为好友后入群。