Hadoop-lzo的编译_windows编译hadoop-lzo

环境准备

maven安装教程（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）

yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool
1

下载、安装并编译LZO

建议看lzo官网
下载地址

http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
1

解压

tar -zxvf lzo-2.10.tar.gz
1

到lzo-2.10目录下执行

./configure -prefix=/usr/local/hadoop/lzo/
1

make && sudo make install
1

编译hadoop-lzo源码

下载hadoop-lzo的源码
下载地址

https://github.com/twitter/hadoop-lzo/archive/master.zip
1

解压之后，修改pom.xml
根据自己的hadoop版本而定

 <hadoop.current.version>3.1.3</hadoop.current.version>
1

声明两个临时环境变量

export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
1
2

进入hadoop-lzo-master，执行maven编译命令

mvn package -Dmaven.test.skip=true
1

进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件