当前位置:   article > 正文

Hadoop+Spark分布式集群搭建过程_如何实现hadoop和spark的结合部署模式

如何实现hadoop和spark的结合部署模式

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

1.选取三台服务器(CentOS系统64位)

  114.55.246.88 主节点

  114.55.246.77 从节点

  114.55.246.93 从节点

之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以下问题。

  我是用root用户操作的。

2.修改hosts文件

  修改三台服务器的hosts文件。

  vi /etc/hosts

  在原文件的基础最后面加上:

114.55.246.88 Master
114.55.246.77 Slave1
114.55.246.93 Slave2
  修改完成后保存执行如下命令。

  source /etc/hosts

3.ssh无密码验证配置

3.1安装和启动ssh协议

  我们需要两个服务:ssh和rsync。

  可以通过下面命令查看是否已经安装:

  rpm -qa|grep openssh

  rpm -qa|grep rsync

  如果没有安装ssh和rsync,可以通过下面命令进行安装:

  yum install ssh (安装ssh协议)

  yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)

  service sshd restart (启动服务)

3.2 配置Master无密码登录所有Salve

  配置Master节点,以下是在Master节点的配置操作。

  1)在Master节点上生成密码对,在Master节点上执行以下命令:

  ssh-keygen -t rsa -P ”

  生成的密钥对:id_rsa和id_rsa.pub,默认存储在”/root/.ssh”目录下。

  2)接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。

  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  3)修改ssh配置文件”/etc/ssh/sshd_config”的下列内容,将以下内容的注释去掉:

  RSAAuthentication yes # 启用 RSA 认证

  PubkeyAuthentication yes # 启用公钥私钥配对认证方式

  AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

  4)重启ssh服务,才能使刚才设置有效。

  service sshd restart

  5)验证无密码登录本机是否成功。

  ssh localhost

  6)接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥:

  scp /root/.ssh/id_rsa.pub root@Slave1:/root/

  scp /root/.ssh/id_rsa.pub root@Slave2:/root/

  接着配置Slave节点,以下是在Slave1节点的配置操作。

  1)在”/root/”下创建”.ssh”文件夹,如果已经存在就不需要创建了。

  mkdir /root/.ssh

  2)将Master的公钥追加到Slave1的授权文件”authorized_keys”中去。

  cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

  3)修改”/etc/ssh/sshd_config”,具体步骤参考前面Master设置的第3步和第4步。

  4)用Master使用ssh无密码登录Slave1

  ssh 114.55.246.77

  5)把”/root/”目录下的”id_rsa.pub”文件删除掉。

  rm –r /root/id_rsa.pub

  重复上面的5个步骤把Slave2服务器进行相同的配置。

3.3 配置所有Slave无密码登录Master

  以下是在Slave1节点的配置操作

  1)创建”Slave1”自己的公钥和私钥,并把自己的公钥追加到”authorized_keys”文件中,执行下面命令:

  ssh-keygen -t rsa -P ”

  cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

  2)将Slave1节点的公钥”id_rsa.pub”复制到Master节点的”/root/”目录下。

  scp /root/.ssh/id_rsa.pub root@Master:/root/

  以下是在Master节点的配置操作。

  1)将Slave1的公钥追加到Master的授权文件”authorized_keys”中去。

  cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

  2)删除Slave1复制过来的”id_rsa.pub”文件。

  rm –r /root/id_rsa.pub

  配置完成后测试从Slave1到Master无密码登录。

  ssh 114.55.246.88

  按照上面的步骤把Slave2和Master之间建立起无密码登录。这样,Master能无密码验证登录每个Slave,每个Slave也能无密码验证登录到Master。

4.安装基础环境(JAVA和SCALA环境)

4.1 Java1.8环境搭建

  1)下载jdk-8u121-linux-x64.tar.gz解压

  tar -zxvf jdk-8u121-linux-x64.tar.gz

  2)添加Java环境变量,在/etc/profile中添加:

export JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=JAVAHOME/bin:PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
  3)保存后刷新配置

  source /etc/profile

4.2 Scala2.11.8环境搭建

  1)下载scala安装包scala-2.11.8.rpm安装

  rpm -ivh scala-2.11.8.rpm

  2)添加Scala环境变量,在/etc/profile中添加:

export SCALA_HOME=/usr/share/scala
export PATH=

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/685973
推荐阅读
相关标签
  

闽ICP备14008679号