hue安装及集成安装HDFS，YARN，HIVE及MYSQL安装详细步骤_rpm安装hue

    前提概要：hue官网安装内容比较简单，可能由于版本的原因，各位博主的安装步骤不太适用，故写该文章供网友参考。hue的安装采用了该博主https://blog.csdn.net/qqqq0199181/article/details/85054161。

一、hue安装步骤

    下载hue相关所有的rpm安装包（共15个），地址：http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/

    安装rpm包

rpm –ivh –nodeps  **.rpm

注意：逐个安装rpm包，注意hue-beeswax 放在最后一个安装，否则编译的时候python会报import Error

    编译

    安装结束后进入hue目录（默认为/usr/local/hue）下执行

make apps

这里编译会提示确实两个文件，直接从其他机器上拷贝过来

scp /usr/lib64/libxslt.so.1 root@10.3.68.127:/usr/lib64/libxslt.so.1
scp /usr/lib64/libexslt.so.0 root@10.3.68.127:/usr/lib64/libexslt.so.0

如果其他机器上找不到就去网上下载。

    运行

cd /usr/lib/hue/build/env/bin
./supervisor

访问8888端口打开hue的页面，输入用户名和密码（hue/hue，root/root）登录

    二、集成HDFS

    HDFS配置

    hdfs-site.xml文件内容

<!-- 启用WebHdfs. -->
<property>
	  <name>dfs.webhdfs.enabled</name>
	  <value>true</value>
</property>
<property>
	  <name>dfs.permissions</name>
	  <value>false</value>
</property>

    core-site.xml文件配置

<!-- Hue配置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

    hue配置（/etc/hue/conf/hue.ini）

[hadoop]
  [[hdfs_clusters]]
    [[[default]]]
      fs_defaultfs=hdfs://node04:9000
      webhdfs_url=http://node04:50070/webhdfs/v1
      hadoop_conf_dir=/root/hadoop-2.7.7/etc/hadoop
      hadoop_hdfs_home=/root/hadoop-2.7.7
      hadoop_bin=/root/hadoop-2.7.7/bin

注意：

    core-site配置中的root需要和hue.ini中的用户一致，hue.ini默认为hue用户和组，我全部修改为root

[desktop]
  server_user=root
  server_group=root
  default_user=root
  default_hdfs_superuser=root

    验证

    登录hue页面，打开file browser页面查看是否显示HDFS内容

三、集成YARN

    YARN配置

    配置mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

    配置yarn-site.xml 

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node04</value>
  </property>
  <!-- historyserver############ -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>
  <!-- historyserver############ -->
</configuration>

    配置hue.ini

[[yarn_clusters]]
    [[[default]]]
      resourcemanager_host=node04
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://node04:8088
      proxy_api_url=http://node04:8088
      history_server_api_url=http://node04:19888

    测试运行

    进入hadoop目录，执行如下语句（HDFS中需要存在input目录，不存在output目录）

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output

    打开8088页面，通过mapreduce页面查看是否显示该任务，再登录hue页面查看job页面是否显示该任务信息

    四、集成HIVE

    配置HIVE

    配置hive/conf/hive-site.xml

<property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>
</property>
<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>node04</value>
</property>
<property>
  <name>hive.server2.long.polling.timeout</name>
  <value>5000</value>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://node04:9083</value>
</property>
<property>
  <name>hive.server2.transport.mode</name>
  <value>http</value>
</property>

    配置hue.ini

[beeswax]
  hive_server_host=node04
  hive_server_port=10000
  hive_conf_dir=/usr/local/hive/conf

    运行

    启动hive服务

bin/hive --service metastore
bin/hive --service hiveserver2

五、HIVE集成MYSQL

    hive/conf目录导入mysql连接包

mysql-connector-java-5.1.47.jar

    配置hive/conf/hive-site.xml（xml配置中&需要使用&分割）

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
 <property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8&amp;useSSL=false</value>
  <!--这里的hive13代表着在mysql中已经创建了一个叫hive13的数据库，如果mysql中没有这么一个数据库会报错-->
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>Rule@123</value><!-- 这里是数据库密码 -->
</property>

六、HUE集成MYSQL

    安装mysql所有的rpm包

mysql-community rpm安装包总共包含12个
mysql-community-client-5.7.23-1.el7.x86_64.rpm，
mysql-community-common-5.7.23-1.el7.x86_64.rpm，
mysql-community-devel-5.7.23-1.el7.x86_64.rpm，
mysql-community-embedded-5.7.23-1.el7.x86_64.rpm，
mysql-community-embedded-compat-5.7.23-1.el7.x86_64.rpm，
mysql-community-embedded-devel-5.7.23-1.el7.x86_64.rpm，
mysql-community-libs-5.7.23-1.el7.x86_64.rpm，
mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm，
mysql-community-minimal-debuginfo-5.7.23-1.el7.x86_64.rpm，
mysql-community-server-5.7.23-1.el7.x86_64.rpm，
mysql-community-server-minimal-5.7.23-1.el7.x86_64.rpm，
mysql-community-test-5.7.23-1.el7.x86_64.rpm

注意：mysql安装不全的话，启动hue会出现错误

    配置hue.ini

[librdbms]
  [[databases]]
    [[[mysql]]]
      nice_name="My SQL DB"
      engine=mysql
      host=node04
      port=3306
      user=root
      password=Rule@123

        新建数据库并初始化

cd /usr/lib/hue/build/env/bin
./hue syncdb
./hue migrate

    结束语：由于hue集成组件比较多，安装组件较少的情况下，容易出现端口访问不同的情况，注意关注各个部分的端口使用情况。（yarn-8088，hive-10000，hdfs-50070，mysql-3306）