devbox
寸_铁
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

NativeCodeLoader: Unable to load native-hadoop library for your platform_util.nativecodeloader: unable to load native-hadoo

作者：寸_铁 | 2024-08-07 06:55:15

赞

踩

util.nativecodeloader: unable to load native-hadoop library for your platfor

转载：http://blog.csdn.net/xichenguan/article/details/38797331

至今为止，搭建的所有集群里都有这个错误：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. 14/08/24 05:07:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

断断续续地尝试了网上的所有方法，就是觉得比较靠谱的，按照步骤，也没成功过。

今天到公司无偿加班，完成自定任务后，又尝试着解决这个问题，竟然Okay了。大笑

1.系统是64位的；JDK是64位的；hadoop本地库也是64位的，自己编译的。

2.打开hadoop控制台debug输出

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. export HADOOP_ROOT_LOGGER=DEBUG,console  

看到下面的相关输出：
[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
  2. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
  3. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib  
  4. 14/08/24 05:14:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

1）no hadoop in java.library.path：在java的本地库路径中没有找到hadoop的本地库

2）java.library.path=/op/hadoop-2.4.1/lib ：本地库路径是/op/hadoop-2.4.1/lib

去/op/hadoop-2.4.1/lib路径下面查看，只一个native目录，native目录下面才是hadoop的本地库。

3.想到之前在网上找答案的时候，有个版本是让在环境变量加上下面这两句话：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native    
  2. export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"    

第一个配置应该是没有问题

就是第二个的事了，将第二个配置改成：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  

启动NameNode，然后运行一个命令看看：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. 14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
  2. 14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Loaded the native-hadoop library  
debug出现这样的信息，NameNode已经可以了。4.但是发现所有的DataNode机器，还是不行，Debug信息如下：
[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
  2. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
  3. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib/native  
  4. 14/08/24 05:26:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
从上面的debug信息可以看出，改的java.library.path生效了，但是还是显示路径中没有找到。

5.hadoop本地库明明就在native目录下面，亲眼看见的，NameNode也生效了，怎么在DataNode节点的机器上就找不到！！

没办法了，看源码吧，在org.apache.hadoop.util.NativeCodeLoader.java中有这样一段代码

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. static {  
  2.   // Try to load native hadoop library and set fallback flag appropriately  
  3.   if(LOG.isDebugEnabled()) {  
  4.     LOG.debug("Trying to load the custom-built native-hadoop library...");  
  5.   }  
  6.   try {  
  7.     System.loadLibrary("hadoop");  
  8.     LOG.debug("Loaded the native-hadoop library");  
  9.     nativeCodeLoaded = true;  
  10.   } catch (Throwable t) {  
  11.     // Ignore failure to load  
  12.     if(LOG.isDebugEnabled()) {  
  13.       LOG.debug("Failed to load native-hadoop with error: " + t);  
  14.       LOG.debug("java.library.path=" +  
  15.           System.getProperty("java.library.path"));  
  16.     }  
  17.   }  
  18.     
  19.   if (!nativeCodeLoaded) {  
  20.     LOG.warn("Unable to load native-hadoop library for your platform... " +  
  21.              "using builtin-java classes where applicable");  
  22.   }  
  23. }  

发现代码中加载的类库的名字是hadoop，也就是在linux操作系统上，这个文件的名是libhadoop.so。

6.去native目录下面ll一下：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. -rw-r--r-- 1 root root  971954 Aug 23 23:28 libhadoop.a  
  2. -rw-r--r-- 1 root root 1487284 Aug 23 23:28 libhadooppipes.a  
  3. -rwxr-xr-x 1 root root  0      Aug 24 05:41 libhadoop.so  
  4. -rwxr-xr-x 1 root root  584656 Aug 23 23:28 libhadoop.so.1.0.0  
  5. -rw-r--r-- 1 root root  582040 Aug 23 23:28 libhadooputils.a  
  6. -rw-r--r-- 1 root root  298170 Aug 23 23:28 libhdfs.a  
  7. -rwxr-xr-x 1 root root  0      Aug 24 05:41 libhdfs.so  
  8. -rwxr-xr-x 1 root root  200018 Aug 24 04:43 libhdfs.so.0.0.0  
发现有这个文件，libhadoop.so。但是大小是0.

7.就去NameNode端的native目录下面看一下，发现是这样的：

[html] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. -rw-rw-r-- 1 hdfs hadoop  971954 Jul 30 07:47 libhadoop.a  
  2. -rw-rw-r-- 1 hdfs hadoop 1487284 Jul 30 07:47 libhadooppipes.a  
  3. lrwxrwxrwx 1 hdfs hadoop      18 Aug 23 22:11 libhadoop.so -> libhadoop.so.1.0.0  
  4. -rwxrwxr-x 1 hdfs hadoop  584656 Jul 30 07:47 libhadoop.so.1.0.0  
  5. -rw-rw-r-- 1 hdfs hadoop  582040 Jul 30 07:47 libhadooputils.a  
  6. -rw-rw-r-- 1 hdfs hadoop  298170 Jul 30 07:47 libhdfs.a  
  7. lrwxrwxrwx 1 hdfs hadoop      16 Aug 23 22:11 libhdfs.so -> libhdfs.so.0.0.0  
  8. -rwxrwxr-x 1 hdfs hadoop  200018 Jul 30 07:47 libhdfs.so.0.0.0  
原来是个符号链接文件。

应该就是问题所在了，于是将DataNode端的libhadoop.so和libhdfs.so删除，然后重做符号链接。就可以了。

8.总结一下，就是有3个地方需要注意：

1）OS位数，JDK位数，Hadoop本地库位数要一致

2）配置java.library.path能够找到Hadoop的本地库。

3）Hadoop自己要找的本地库的名字是libhadoop.so这个文件，确保有这个文件，这个文件时libhadoop.so.1.0.0这个文件的软链接，libhdfs.so也是同样的情况
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/941366
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号