devbox
煮酒与君饮
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Linux-新手小白速秒Hadoop集群全生态搭建（图文混编超详细）_配置hadoop linux

作者：煮酒与君饮 | 2024-08-19 13:28:35

赞

踩

配置hadoop linux

在之前的文章中，我教会大家如何一步一步搭建一个Hadoop集群，但是只提供了代码，怕有些朋友会在一些地方产生疑惑，今天我来以图文混排的方式，一站式交给大家如何搭建一个Hadoop高可用集群包括（HadoopHA，Zookeeper、MySQL、Hbase、Hive、Sqoop、Scala、Spark）。如果对之前文章感兴趣的朋友，可以观看这刊专栏：

大数据技术之Hadoop全生态组件学习与搭建icon-default.png?t=N7T8http://t.csdnimg.cn/LMyEn文章较长，附目录，此次安装是在VM虚拟环境下进行。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

目录

一，创建集群

一、创建主机

二、解压安装包配置环境变量

一、解压安装包

二、配置环境变量

三、创建从机

二、配置安装应用

1、HadoopHA 及 zookeeper

2、HBase

3、Hive及MySQL

4、sqoop

5、scala 及spark

一，创建集群

一、创建主机

 首先，我们需要在vm里安装新建一台名为BigData01的虚拟机作为我们的主机。

这个内存要注意，如果只是学习搭建，内存不用给很大，如果你的集群搭建是为了工作或别的高需求目的，能给多大就多大。

 

 

 

 

 

 

这样，我们就可以开启虚拟机了，第一次需要初始化。

这是添加新用户，name是用户名，password是密码。

这边我们选择用root(管理员)用户来登录，密码就是刚才创建虚拟机时所设置的密码。

将我们所需要的安装包（jdk、Hadoop、zookeeper、hbase、MySQL、MySQL.java、hive、sqoop、Scala、spark）上传到Linux的Downloads中。

二、解压安装包配置环境变量

一、解压安装包

打开终端，解压到opt下

  1. tar zxvf /root/Downloads/jdk-8u171-linux-x64.tar.gz -C/opt/
  2. tar zxvf /root/Downloads/zookeeper-3.4.5.tar.gz -C/opt/
  3. tar zxvf /root/Downloads/hadoop-2.7.5.tar.gz -C/opt/
  4. mv /opt/zookeeper-3.4.5/ /opt/zookeeper
  5. mv /opt/hadoop-2.7.5/ /opt/hadoopHA
  6. tar zxvf /root/Downloads/hbase-1.2.6-bin.tar.gz -C/opt/

  1. tar zxvf /root/Downloads/apache-hive-2.1.1-bin.tar.gz -C/opt/
  2. mv /opt/apache-hive-2.1.1-bin/ /opt/hive
  3.  
  4. 卸载原有数据库
  5. rpm -qa | grep mariadb(出来的是哪个版本号下面就哪个)
  6. rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64
  7. rpm -e --nodeps mariadb-5.5.68-1.el7.x86_64
  8. rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64
  9.  
  10. 安装mysql
  11. cd /opt/
  12. mkdir mysql
  13. cd
  14. tar xvf /root/Downloads/mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar -C/opt/mysql
  15. cd /opt/mysql/
  16. rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
  17. rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
  18. rpm -ivh  mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm
  19. rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
  20. rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm
  21.  
  22.  
  23. 检查安装情况
  24. rpm -qa | grep mysql 
  25.  
  26. mv /root/Downloads/mysql-connector-java-5.1.46-bin.jar /opt/hive/lib/

  1. tar -zxvf /root/Downloads/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C/opt/
  2. mv /opt/sqoop-1.4.7.bin__hadoop-2.6.0/ /opt/sqoop

二、配置环境变量

创建所需文件，配置环境变量

  1. cd /opt/zookeeper
  2. mkdir data && mkdir logs
  3. cd
  4.  
  5. vim /etc/profile
  6.  
  7. export JAVA_HOME=/opt/jdk1.8.0_171
  8. export HADOOP_HOME=/opt/hadoopHA
  9. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  10.  
  11. export ZOOKEEPER_HOME=/opt/zookeeper
  12. export PATH=$PATH:$ZOOKEEPER_HOME/bin
  13.  
  14. export HBASE_HOME=/opt/hbase-1.2.6
  15. export PATH=$PATH:$HBASE_HOME/bin
  16.  
  17. export HIVE_HOME=/opt/hive
  18. export HIVE_CONF_DIR=$HIVE_HOME/conf
  19. export HCAT_HOME=$HIVE_HOME/hcatalog
  20. export PATH=$PATH:$HIVE_HOME/bin
  21.  
  22. export SQOOP_HOME=/opt/sqoop
  23. export PATH=$PATH:$SQOOP_HOME/bin
  24.  
  25. export SCALA_HOME=/usr/local/soft/scala-2.12.12
  26. export PATH=$PATH:${SCALA_HOME}/bin
  27.  
  28. export SPARK_HOME=/opt/spark-3.2.1
  29. export PATH=$PATH:${SPARK_HOME}/bin
  30. export PATH=$PATH:${SPARK_HOME}/sbin
  31.  
  32. source /etc/profile

三、创建从机

主机关机，从目前的主机状态克隆出两个从机当集群中的从节点，名称分别为BigData01，BigData02。

 

BigData03创建方式同上 

二、配置安装应用

1、HadoopHA 及 zookeeper

  1. vim /etc/hosts
  2. 192.168.67.128  BigData01
  3. 192.168.67.129  BigData02
  4. 192.168.67.130  BigData03
  5. (根据实际ip改变)
  6. scp -r /etc/hosts @BigData02:/etc/
  7. scp -r /etc/hosts @BigData03:/etc/
  8. (接yes和密码)

 

  1. ssh-keygen -t rsa
  2. cd ~/.ssh/	
  3. cat ./id_rsa.pub >> ./authorized_keys
  5. 产生的授权后的钥匙要发送给s1和s2节点
  6. #scp 发送命令
  7. scp ./authorized_keys root@BigData02:/.ssh
  8. scp ./authorized_keys root@BigData03:/.ssh
  9.  
  10. ssh-copy-id BigData02
  11. ssh-copy-id BigData03
  12.  
  13. ssh-add 启动ssh的服务

  1. echo 1 > /opt/zookeeper/data/myid
  2. cp /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg
  3.  
  4. vim /opt/zookeeper/conf/zoo.cfg
  5. 修改dataDir=/opt/zookeeper/data
  6. 末尾添加：
  7. server.1=BigData01:2888:3888
  8. server.2=BigData02:2888:3888
  9. server.3=BigData03:2888:3888
  10.  
  11. scp -r /opt/zookeeper root@BigData02:/opt/
  12. scp -r /opt/zookeeper root@BigData03:/opt/
  13.  
  14. 02虚拟机下：echo 2 > /opt/zookeeper/data/myid 
  15. 03虚拟机下：echo 3 > /opt/zookeeper/data/myid 
  16.  
  17. 三个节点：
  18. systemctl stop firewalld.service
  19. zkServer.sh start
  20. zkServer.sh status

  1. cd /opt/hadoopHA/
  2. mkdir tmp
  3. scp -r /opt/hadoopHA/tmp @BigData02:/opt/hadoopHA/
  4. scp -r /opt/hadoopHA/tmp @BigData03:/opt/hadoopHA/
  5.  
  6. vim /opt/hadoopHA/etc/hadoop/hadoop-env.sh
  7. export JAVA_HOME=/opt/jdk1.8.0_171
  8.  
  9.  
  10.  
  11. vim /opt/hadoopHA/etc/hadoop/core-site.xml
  12.         <property>
  13.                 <!--指定HDFS的通信地址-->
  14.                 <name>fs.defaultFS</name>
  15.                 <value>hdfs://ns1</value>
  16.         </property>
  17.         <property>
  18.                 <!--指定hadoop运行时产生文件的存储路径(即临时目录)-->
  19.                 <name>hadoop.tmp.dir</name>
  20.                 <value>/opt/hadoopHA/tmp</value>
  21.         </property>
  22.         <property>
  23.                 <!--指定ZooKeeper地址（2181端口参考zoo.cfg配置文件） -->
  24.                 <name>ha.zookeeper.quorum</name>
  25.                 <value>BigData01:2181,BigData02:2181,BigData03:2181</value>
  26.         </property>
  27.  
  28.  
  29.  
  30. vim /opt/hadoopHA/etc/hadoop/hdfs-site.xml
  31.         <property>
  32.                 <!--指定HDFS的nameservices为ns1，需要与core-site.xml保持一致-->
  33.                 <name>dfs.nameservices</name>
  34.                 <value>ns1</value>
  35.         </property>
  36.         <property>
  37.                 <!--ns1下面设置2个NameNode，分别是nn1,nn2-->
  38.                 <name>dfs.ha.namenodes.ns1</name>
  39.                 <value>nn1,nn2</value>
  40.         </property>
  41.  
  42.         <property>
  43.                 <!--设置nn1的RPC通信地址-->
  44.                 <name>dfs.namenode.rpc-address.ns1.nn1</name>
  45.                 <value>BigData01:9000</value>
  46.         </property>
  47.         <property>
  48.                 <!--设置nn1的http通信地址-->
  49.                 <name>dfs.namenode.http-address.ns1.nn1</name>
  50.                 <value>BigData01:50070</value>
  51.         </property>
  52.  
  53.         <property>
  54.                 <!--设置nn2的RPC通信地址-->
  55.                 <name>dfs.namenode.rpc-address.ns1.nn2</name>
  56.                 <value>BigData02:9000</value>
  57.         </property>
  58.         <property>
  59.                 <!--设置nn2的http通信地址-->
  60.                 <name>dfs.namenode.http-address.ns1.nn2</name>
  61.                 <value>BigData02:50070</value>
  62.         </property>
  63.  
  64.         <property>
  65.                 <!--设置NameNode的元数据在JournalNode上的存放位置-->
  66.                 <name>dfs.namenode.shared.edits.dir</name>
  67.                 <value>qjournal://BigData01:8485;BigData02:8485;BigData03:8485/ns1</value>
  68.         </property>
  69.         <property>
  70.                 <!--指定JournalNode存放edits日志的目录位置-->
  71.                 <name>dfs.journalnode.edits.dir</name>
  72.                 <value>/opt/hadoopHA/tmp/dfs/journal</value>
  73.         </property>
  74.  
  75.         <property>
  76.                 <!--开启NameNode失败自动切换-->
  77.                 <name>dfs.ha.automatic-failover.enabled</name>
  78.                 <value>true</value>
  79.         </property>
  80.         <property>
  81.                 <!--配置失败自动切换实现方式-->
  82.                 <name>dfs.client.failover.proxy.provider.ns1</name>
  83.                 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  84.         </property>
  85.         <property>
  86.                 <!--配置隔离机制-->
  87.                 <name>dfs.ha.fencing.methods</name>
  88.                 <value>sshfence</value>
  89.         </property>
  90.         <!--设置使用隔离机制时需要的SSH免登录-->
  91.         <property>
  92.                 <name>dfs.ha.fencing.ssh.private-key-files</name>
  93.                 <value>/home/hadoop/.ssh/id_rsa</value>
  94.         </property>
  95.  
  96.  
  97.  
  98.  vim /opt/hadoopHA/etc/hadoop/yarn-site.xml
  99.         <property>
  100.                 <!--设置resourcemanager在哪个节点上-->
  101.                 <name>yarn.resourcemanager.hostname</name>
  102.                 <value>BigData01</value>
  103.         </property>
  104.         <property>
  105.                 <!--Reducer取数据的方法是mapreduce_shuffle-->
  106.                 <!--指定nodemanager启动时加载server的方式-->
  107.                 <name>yarn.nodemanager.aux-services</name>
  108.                 <value>mapreduce_shuffle</value>
  109.         </property>
  110.         <property>
  111.                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  112.                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  113.         </property>
  114.  
  115.  
  116. cd /opt/hadoopHA/etc/hadoop
  117. cp mapred-site.xml.template mapred-site.xml
  118. cd
  119. vim /opt/hadoopHA/etc/hadoop/mapred-site.xml
  120.         <property>
  121.                 <!--指定MR(mapreduce)框架使用YARN方式-->
  122.                 <name>mapreduce.framework.name</name>
  123.                 <value>yarn</value>
  124.         </property>
  125.  
  126.  
  127. vim /opt/hadoopHA/etc/hadoop/slaves
  128. BigData01
  129. BigData02
  130. BigData03
  131.  
  132.  
  133. scp -r /opt/hadoopHA root@BigData02:/opt/
  134. scp -r /opt/hadoopHA root@BigData03:/opt/
  135.  
  136.  
  137. 三个节点启动zookeeper，查看状态
  138. zkServer.sh start
  139. zkServer.sh status
  140. jps查看进程
  141. hadoop-daemon.sh start journalnode
  142.  
  143. 主节点下：
  144. hdfs namenode -format
  145. scp -r /opt/hadoopHA/tmp/dfs @BigData02:/opt/hadoopHA/tmp/
  146. hadoop-daemon.sh start namenode
  147. 另外一个namenode节点下:
  148. hdfs namenode -bootstrapStandby
  149. hadoop-daemon.sh start namenode
  150.  
  151.  
  152. 主节点下：
  153. hdfs zkfc -formatZK 格式化
  154. 启动服务：
  155. start-dfs.sh
  156. start-yarn.sh
  157. 查看进程：
  158. jps
  159.  
  160. 关机前关闭集群服务：
  161. stop-yarn.sh
  162. stop-dfs.sh

后面的配置方法同上，就不附图了

2、HBase

  1. 在BigData01下：
  2. tar zxvf /root/Downloads/hbase-1.2.6-bin.tar.gz -C/opt/
  3.  
  4. vim /etc/profile
  5. export HBASE_HOME=/opt/hbase-1.2.6
  6. export PATH=$PATH:$HBASE_HOME/bin
  7.  
  8. source /etc/profile
  9.  
  10. vim /opt/hbase-1.2.6/conf/hbase-env.sh 
  11. export JAVA_HOME=/opt/jdk1.8.0_171（27行）
  12.  
  13. export HBASE_MANAGES_ZK=false(128)此行下面添加：
  14. # Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+
  15. export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m"
  16. export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m"
  17.  
  18. vim /opt/hbase-1.2.6/conf/hbase-site.xml 
  19. 	<property>
  20. 		<name>hbase.rootdir</name> <!-- hbase存放数据目录 ，默认值${hbase.tmp.dir}/hbase-->
  21. 		<!-- 端口要和Hadoop的fs.defaultFS端口一致-->
  22. 		<!--ns1为hdfs-site.xml中dfs.nameservices的值。或与Hadoop的fs.defaultFS一致-->
  23. 		<value>hdfs://ns1/data/hbase_db</value>
  24. 	</property>
  25. 	<property>
  26. 		<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
  27. 		<value>true</value>
  28. 	</property>
  29. 	<property>
  30. 		<name>dfs.support.append</name>
  31. 		<value>true</value>
  32. 	</property>
  33. 	<property>
  34. 		<name>hbase.zookeeper.quorum</name> <!-- list of  zookooper -->
  35. 		<value>BigData01,BigData02,BigData03</value>
  36. 	</property>
  37. 	<property>
  38. 		<name>hbase.zookeeper.property.datadir</name> <!--zookooper配置、日志等的存储位置 -->
  39. 		<value>/opt/zookeeper-3.4.12</value>
  40. 	</property>
  41. 	<property>
  42. 		<name>hbase.zookeeper.property.clientPort</name>
  43. 		<value>2181</value>
  44. 	</property>
  45.  
  46. vim /opt/hbase-1.2.6/conf/regionservers
  47. BigData01
  48. BigData02
  49. BigData03
  50.  
  51. vim /opt/hbase-1.2.6/conf/backup-masters
  52. BigData02
  53.  
  54. scp /opt/hadoopHA/etc/hadoop/hdfs-site.xml /opt/hbase-1.2.6/conf/
  55.  
  56. scp -r /etc/profile @BigData02:/etc/
  57. scp -r /etc/profile @BigData03:/etc/
  58. scp -r /opt/hbase-1.2.6 root@BigData02:/opt/
  59. scp -r /opt/hbase-1.2.6 root@BigData03:/opt/
  60. 两节点下
  61. source /etc/profile
  62.  
  63. 依次启动zkServer.sh start（检查防火墙）
  64. systemctl stop firewalld
  65.  
  66. 01下：
  67.  
  68. start-dfs.sh
  69. start-yarn.sh
  70. start-hbase.sh
  71. jps
  72. 03下:
  73. mr-jobhistory-daemon.sh start historyserver
  74. jps
  75.  
  76. 浏览器打开查看
  77. http://192.168.67.128:16010
  78. http://192.168.67.128:16030
  79. 根据实际ip地址查看
  80.  
  81.  
  82.  
  83.  
  84.  
  85. HBase的Shell命令
  86. 1）基本Shell命令
  87. 1、启动Shell（进入HBase命令行环境）
  88. $ hbase shell 
  89. [hadoop@BigData01 ~]$ hbase shell 
  90. hbase(main):001:0> 
  91.  
  92. 2、查看HBase运行状态
  93. hbase(main):002:0> status
  94. 1 active master, 1 backup masters, 3 servers, 0 dead, 0.6667 average load
  95.  
  96. 3、查看版本
  97. hbase(main):003:0> version
  98.  
  99. 4、获得帮助
  100. hbase(main):004:0> help
  101.  
  102. 5、退出Shell
  103. hbase(main):005:0> exit
  104.  
  105. 2）DDL操作命令
  106. 1、创建表
  107. create  表名student，列族名address,  列族名info 
  108. hbase(main):001:0> create 'student', 'address', 'info' 
  109. 0 row(s) in 2.9230 seconds
  110. => Hbase::Table - student
  111.  
  112. 2、列表的形式显示所有数据表
  113. hbase(main):002:0> list
  114. TABLE                                                                              
  115. student                                                                            
  116. 1 row(s) in 0.0920 seconds
  117.  
  118. => ["student"]
  119.  
  120. 3、查看表的结构
  121. hbase(main):003:0> describe 'student' 
  122. Table student is ENABLED                                                                                                                    
  123. student                                                                                                                                     
  124. COLUMN FAMILIES DESCRIPTION                                                                                                                 
  125. {NAME => 'address', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', 
  126. DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', 
  127. BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}      
  128. {NAME => 'info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', 
  129. DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', 
  130. BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}         
  131. 2 row(s) in 0.1420 seconds
  132.  
  133. 4、修改表结构（需要先将表设为不可用）
  134. hbase(main):004:0> disable 'student' 
  135. 0 row(s) in 2.4820 seconds
  136.  
  137. 4.1)增加列族
  138. hbase(main):005:0> alter 'student', NAME=>'cf3', VERSIONS=>5
  139. Updating all regions with the new schema...
  140. 1/1 regions updated.
  141. Done.
  142. 0 row(s) in 2.3320 seconds
  143.  
  144. 4.2)删除列族
  145. hbase(main):007:0> alter 'student', NAME=>'cf3', METHOD=>'delete'
  146. Updating all regions with the new schema...
  147. 1/1 regions updated.
  148. Done.
  149. 0 row(s) in 2.2480 seconds 
  150.  
  151. 4.3)设表为启用状态
  152. enable 'student' 
  153.  
  154. 5、查询表是否存在
  155. exists 'student' 
  156.  
  157. 6、查询表是否可用
  158. is_enabled 'student' 
  159.  
  160. 7、判断表是否不可用
  161. is_disabled 'student' 
  162.  
  163. 8、删除表
  164. 先disable表，再drop表
  165. disable 'test' 
  166. drop 'test' 
  167.  
  168. 2）DML操作命令
  169. 假设student表的列族address{province,city,university}，info{height,weight,birthday,telephone,qq}
  170.  
  171. create 'student', 'address', 'info' 
  172.  
  173. Row Key: 姓名（也可根据需要设学号为row key）
  174. 1、插入记录数据（put '表名', 'row key', '列族:列', '列的值'）
  175. put 'student','zhangsan','info:height','180'
  176. put 'student','zhangsan','info:birthday','1990-01-20'
  177. put 'student','zhangsan','info:weight','70'
  178. put 'student','zhangsan','address:province','Hubei'
  179. put 'student','zhangsan','address:city','Wuhan'
  180. put 'student','zhangsan','address:university','Wenhua College'
  181.  
  182. 2、获取一条数据（get '表名', 'row key'）
  183. hbase(main):011:0> get 'student', 'zhangsan'
  184. COLUMN                CELL                                                         
  185.  address:city         timestamp=1521772686458, value=Wuhan                         
  186.  address:province     timestamp=1521772681481, value=Hubei                         
  187.  address:university   timestamp=1521772690856, value=Wenhua College                
  188.  info:birthday        timestamp=1521772670610, value=1990-01-20                    
  189.  info:height          timestamp=1521772660840, value=180                           
  190.  info:weight          timestamp=1521772675096, value=70                            
  191. 6 row(s) in 0.1980 seconds
  192.  
  193. 3、获取一个ID（row key），一个列族的所有数据
  194. get 'student', 'zhangsan', 'info'
  195.  
  196. 4、获取一个ID（row key），一个列族中某列的所有数据
  197. get 'student', 'zhangsan', 'info:birthday'
  198.  
  199. 5、更新一条记录
  200. put 'student', 'zhangsan', 'info:weight', '75'
  201.  
  202. 6、读出数据（全表扫描）
  203. scan 'student'
  204.  
  205. 7、查询表有多少行（row key的数量）
  206. count 'student' 
  207.  
  208. 8、将整表清空
  209. truncate 'student' 
  210.  
  211. 9、删除某ID（row key）的某列的值 
  212. delete 'student', 'zhangsan', 'info:weight' 
  213.  
  214. 3）运行HBase Shell脚本
  215. 可以把操作命令写入到文件中，如testHbaseData.sh，再在Linux shell命令下执行：
  216. $ hbase shell testHbaseData.sh 
  217.  
  218. 如testHbaseData.sh文件中写入如下内容：
  219. put 'student','lisi','info:height','170'
  220. put 'student','lisi','info:birthday','1991-06-20'
  221. put 'student','lisi','info:weight','65'
  222. put 'student','lisi','address:province','Hubei'
  223. put 'student','lisi','address:city','Wuhan'
  224. put 'student','lisi','address:university','Wuhan University'

3、Hive及MySQL

  1. tar zxvf /root/Downloads/apache-hive-2.1.1-bin.tar.gz -C/opt/
  2. mv /opt/apache-hive-2.1.1-bin/ /opt/hive
  3.  
  4. 关闭防火墙及自启
  5. systemctl stop firewalld
  6. systemctl disable firewalld
  7.  
  8. 卸载原有数据库
  9. rpm -qa | grep mariadb(出来的是哪个版本号下面就哪个)
  10. rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64
  11. rpm -e --nodeps mariadb-5.5.68-1.el7.x86_64
  12. rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64
  13.  
  14. 安装mysql
  15. cd /opt/
  16. mkdir mysql
  17. cd
  18. tar xvf /root/Downloads/mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar -C/opt/mysql
  19. cd /opt/mysql/
  20. rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
  21. rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
  22. rpm -ivh  mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm
  23. rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
  24. rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm
  25.  
  26. 检查安装情况
  27. rpm -qa | grep mysql 
  28.  
  29. 修改配置文件
  30.  vim /etc/my.cnf
  31.  
  32.  
  33. 添加到symbolic-links=0 配置信息的下方
  34. default-storage-engine=innodb
  35. innodb_file_per_table
  36. collation-server=utf8_general_ci
  37. init-connect='SET NAMES utf8'
  38. character-set-server=utf8
  39.  
  40. 启动mysql服务
  41. mysqld --initialize --user=mysql
  42. systemctl start mysqld
  43. systemctl status mysqld（出现绿色active (running)）
  44.  
  45. cat /var/log/mysqld.log | grep password（查看默认密码，复制:s/!:!8:kNrf）
  46. mysql -uroot -p(输入拷贝的密码)
  47. set password=password("123456");(修改密码)
  48. update mysql.user set host='%' where user='root';（实现任意主机root用户的远程登录）
  49. flush privileges;（刷新权限表）
  50. quit;(退出，重新登录)
  51. mysql -uroot -p(修改后的密码登录成功即可退出，mysql配置成功)
  52.  
  53.  
  54. hive配置
  55.  
  56. mv /root/Downloads/mysql-connector-java-5.1.46-bin.jar /opt/hive/lib/
  57.  
  58. 修改hive环境变量
  59. vim /etc/profile
  60. export HIVE_HOME=/opt/hive
  61. export HIVE_CONF_DIR=$HIVE_HOME/conf
  62. export HCAT_HOME=$HIVE_HOME/hcatalog
  63. export PATH=$PATH:$HIVE_HOME/bin
  64.  
  65. source /etc/profile
  66.  
  67. 配置hive
  68. cd /opt/hive/conf/
  69. cp hive-default.xml.template hive-site.xml
  70.  
  71. vim /opt/hive/conf/hive-site.xml
  72.  
  73. <name>javax.jdo.option.ConnectionPassword</name>
  74.     <value>123456</value>
  75.     <description>password to use against metastore database</description>
  76.  
  77.   <property>
  78.     <name>javax.jdo.option.ConnectionURL</name>
  79.     <value>jdbc:mysql://BigData01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
  80.     <description>JDBC connect string for a JDBC metastore</description>
  81.   </property>
  82. （484-488）
  83.  
  84. （684为true）
  85.  
  86. <property>
  87. 	<name>javax.jdo.option.ConnectionDriverName</name>
  88. 	<value>com.mysql.jdbc.Driver</value>
  89. 	<description>Driver class name for a JDBC metastore</description>
  90. </property>（928-932）
  91.  
  92.  
  93.  
  94.   <property>
  95.     <name>javax.jdo.option.ConnectionUserName</name>
  96.     <value>root</value>
  97.     <description>Username to use against metastore database</description>
  98.   </property>
  99. （953-957）
  100.  
  101. <name>hive.exec.scratchdir</name>
  102. <value>/opt/hive/tmp</value>
  103. <description>Location of Hive run time structured log file</description>(1513-1514)
  104.  
  105. <name>hive.exec.local.scratchdir</name>
  106.  <value>/opt/hive/tmp</value>
  107.  
  108. <name>hive.downloaded.resources.dir</name>
  109. <value>/opt/hive/tmp/resources</value>
  110.  
  111. <name>hive.server2.logging.operation.log.location</name>
  112. <value>/opt/hive/tmp/operation_logs</value>
  113.  
  114. 创建hive缓存路径
  115. mkdir /opt/hive/tmp
  116.  
  117. 添加Hadoop远程登录配置文件
  118. vim /opt/hadoopHA/etc/hadoop/core-site.xml
  119.         <property>
  120.                 <name>hadoop.proxyuser.hadoop.hosts</name>
  121.                 <value>*</value>
  122.         </property>
  123.         <property>
  124.                 <name>hadoop.proxyuser.hadoop.groups</name>
  125.                 <value>*</value>
  126.         </property>
  127.  
  128. scp -r /opt/hadoopHA/etc/hadoop/core-site.xml root@BigData02:/opt/hadoopHA/etc/hadoop/
  129. scp -r /opt/hadoopHA/etc/hadoop/core-site.xml root@BigData03:/opt/hadoopHA/etc/hadoop/
  130.  
  131. 初始化 hive 元数据
  132. cd /opt/hive/lib/
  133. ll
  134. mv log4j-slf4j-impl-2.4.1.jar log4j-slf4j-impl-2.4.1.jar.bak
  135. schematool -initSchema -dbType mysql(报错纠错查看报错原，极大可能是配置文件出错)
  136. mysql -uroot -p
  137. show databases;(出现hive表即配置成功)
  138.  
  139. 启动hive
  140.  
  141. 启动各服务，关闭防火墙
  142. systemctl stop firewalld
  143. stop-all.sh
  144. start-all.sh
  145. 依次启动zkServer.sh start（检查防火墙）
  146. 01下：
  147. start-dfs.sh
  148. start-yarn.sh
  149. start-hbase.sh
  150. jps
  151. 03下:
  152. mr-jobhistory-daemon.sh start historyserver
  153.  
  154. 确保各前置服务启动成功后首次启动hive需初始化
  155. hive --service metastore
  156. 出现WARNING！即成功
  157.  
  158. hive

4、sqoop

  1. tar -zxvf /root/Downloads/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C/opt/
  2. mv /opt/sqoop-1.4.7.bin__hadoop-2.6.0/ /opt/sqoop
  3.  
  4. vim /etc/profile
  5. export SQOOP_HOME=/opt/sqoop
  6. export PATH=$PATH:$SQOOP_HOME/bin
  7. source /etc/profile
  8.  
  9. scp /opt/hive/lib/mysql-connector-java-5.1.46-bin.jar /opt/sqoop/lib/
  10. cp sqoop-env-template.sh sqoop-env.sh
  11.  
  12.  
  13. vim sqoop-env.sh
  14. #Set path to where bin/hadoop is available
  15. export HADOOP_COMMON_HOME=/opt/hadoopHA
  16. #Set path to where hadoop-*-core.jar is available
  17. export HADOOP_MAPRED_HOME=/opt/hadoopHA
  18. #set the path to where bin/hbase is available
  19. export HBASE_HOME=/opt/hbase-1.2.6
  20. #Set the path to where bin/hive is available
  21. export HIVE_HOME=/opt/hive
  22. #Set the path for where zookeper config dir is
  23. export ZOOCFGDIR=/opt/zookeeper
  24.

5、scala 及spark

  1. cp /opt/spark-3.2.1/conf/spark-env.sh.template /opt/spark-3.2.1/conf/spark-env.sh
  2. cp /opt/spark-3.2.1/conf/workers.template /opt/spark-3.2.1/conf/workers
  3.  
  4. vim /opt/spark-3.2.1/conf/spark-env.sh
  5.  
  6. export SCALA_HOME=/opt/scala-2.12.15
  7. export JAVA_HOME=/opt/jdk1.8.0_171
  8. export SPARK_MASTER_IP=BigData01
  9. export SPARK_WOKER_CORES=2
  10. export SPARK_WOKER_MEMORY=2g
  11. export HADOOP_CONF_DIR=/opt/HadoopHA
  12. #export SPARK_MASTER_WEBUI_PORT=8080
  13. #export SPARK_MASTER_PORT=7070
  14.  
  15.  
  16. vim /opt/spark-3.2.1/conf/workers
  17.  
  18. BigData02
  19. BigData03
  20.  
  21.  
  22. scp -r /opt/spark-3.2.1/ BigData02:/opt/
  23. scp -r /opt/spark-3.2.1/ BigData03:/opt/
  24.  
  25. vim /etc/profile
  26.  
  27. export SPARK_HOME=/opt/spark-3.2.1
  28. export PATH=$PATH:${SPARK_HOME}/bin
  29. export PATH=$PATH:${SPARK_HOME}/sbin
  30.  
  31.  
  32. source /etc/profile
  33.  
  34.  
  35. 主节点下：
  36. cd /opt/spark-3.2.1/sbin/
  37.  ./start-all.sh
  38. 三个节点分别：
  39. jps

三、效果

 

 

拓展-Hadoop生态系统组件

组件简略作用
HDFS (Hadoop Distributed File System)用于存储和管理大规模数据集，提供高可靠性、可扩展性和高吞吐量的数据存储。
MapReduce分布式计算框架，用于并行处理大规模数据集，实现大数据量的计算和分析。
YARN (Yet Another Resource Negotiator)集群资源管理器，负责管理和调度集群中的计算资源，允许多租户并行运行不同的作业。
Hive基于Hadoop的数据仓库基础设施，提供类似SQL的查询语言(HiveQL)，用于处理和分析结构化数据。
Pig数据流编程语言和执行环境，用于在Hadoop上进行数据转换和分析，简化大数据处理过程。
HBase分布式列存数据库，用于存储非结构化和半结构化数据，提供高可靠性、高性能的数据存储和访问能力。
ZooKeeper分布式协调服务，用于维护服务器状态信息、存储配置信息、实现命名服务和集群管理。
Spark快速、通用的大数据处理引擎，可以在内存中进行数据处理，提供高效的数据分析和计算能力。

组件简略作用
Sqoop用于在Hadoop和传统数据库之间进行高效的数据传输，可以实现数据的导入和导出操作。
Oozie工作流调度系统，用于定义和管理Hadoop作业的工作流，实现作业的自动化执行和调度。
Flume分布式、可靠和高可用的服务，用于有效地收集、聚合和移动大量日志数据。
Ambari管理工具，用于安装、配置、监控和管理Hadoop集群，提供直观的用户界面和强大的管理功能。
Tez基于Hadoop YARN的框架，用于优化执行速度，使得Hive、Pig等处理引擎能够更快地处理数据。
Flink一个流处理和批处理的开源平台，可以在Hadoop上运行，提供高效的数据处理和分析能力。

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号