大数据—Hadoop（十四）_ MapReduce_07、压缩_mapreduce中map输出压缩文件

1、概述

1.1 好处

• 以减少磁盘IO
  例如：在map阶段进行压缩后放入磁盘，则Reduce端拉取的内容就会变少，速度变快
• 减少磁盘存储空间

1.2 坏处

• 增加CPU开销
  压缩和解压缩都需要CPU进行计算

1.3 压缩方式选择主要看目前的任务类型

• 运算密集型任务
  - 少用压缩

• IO密集型任务
  - 多用压缩
  - 只压缩一两次后经常用于网络传输的任务

2、MR支持的压缩编码

解读1：是否是Hadoop自带
3.X后自带snappy，不需要额外安装

解读2：是否可切片
如果不支持切片，只能给一个MapTask处理
所以数据庞大，重点考虑bzip2和LZO

3、压缩算法比较

4、压缩方式选择

4.1 主要考虑三点

• 压缩和解压缩的速度
• 压缩率
• 压缩后是否支持切片

4.2 各种压缩方式优缺点

4.3 压缩位置选择

5、压缩参数配置

5.1 算法

5.2 启动压缩配置方式

6、压缩实操案例

6.1 Map输出端采用压缩

// 开启map端输出压缩
conf.setBoolean("mapreduce.map.output.compress", true);

// 设置map端输出压缩方式
conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);
1
2
3
4
5

如果只配置了Map输出端，只会影响任务速度，不会影响最终输出文件格式

如果改成Snappy压缩方式，在window环境测试，会报本地Snappy不存在，或者版本不支持。因为Snappy需要运行在centos7.0以上的系统和hadoop3.X版本

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 
1

6.2 Reduce输出端采用压缩

// 设置reduce端输出压缩开启
FileOutputFormat.setCompressOutput(job, true);

// 设置压缩的方式
FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class); 
//FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class); 
//FileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class); 
1
2
3
4
5
6
7

会影响最终输出文件，文件后缀分别是.bz2、.gz、.deflate