感谢支持
我们一直在努力

Hadoop-0.20.205.0 编译

尝试编译Hadoop-0.20.205这个版本,编译过程出现了如下小错误:/home/user/github/hadoop-common/build.xml:1611: /home/user/github/hadoop-common/build/hadoop-0.20.205.1/native not found.


以上提示是在说native目录没有找到,hadoop引入了本地库的概念,通过本地库可以使Hadoop更高效的做某些事情,目前在Hadoop中本地库应用在文件的压缩上面:


1. zlib


2. gzip


解决过程:


1. 进入到/hadoop-common/src/native目录,先尝试直接编译本地库:./configure


2. 编译没有通过,并打出如下错误:configure: error: Native java headers not found. Is $JAVA_HOME set correctly?


3. export JAVA_HOME


4. 再次执行./configure,编译通过


5. 执行ant mvn-install,通过


注:在Ubuntu下可能还会有些其它错误,总之依次执行./configure make make install看能不能通过就行了。


 


 


 


 



附1:


在使用这两种压缩方式的时候,Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。
如果加载成功,输出为:
DEBUG util.NativeCodeLoader – Trying to load the custom-built native-hadoop library…
INFO util.NativeCodeLoader – Loaded the native-hadoop library
如果加载失败,输出为:
INFO util.NativeCodeLoader – Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
在Hadoop的配置文件core-site.xml中可以设置是否使用本地库:
<property>
  <name>hadoop.native.lib</name>
    <value>true</value>
      <description>Should native hadoop libraries, if present, be used.</description>
      </property>
      Hadoop默认的配置为启用本地库。
      另外,可以在环境变量中设置使用本地库的位置:
      export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs
      有的时候也会发现Hadoop自带的本地库无法使用,这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下,使用如下命令即可:
      ant compile-native
      编译完成后,可以在$HADOOP_HOME/build/native目录下找到相应的文件,然后指定文件的路径或者移动编译好的文件到默认目录下即可。

赞(0) 打赏
转载请注明出处:服务器评测 » Hadoop-0.20.205.0 编译
分享到: 更多 (0)

听说打赏我的人,都进福布斯排行榜啦!

支付宝扫一扫打赏

微信扫一扫打赏