大数据-1 配置大数据开发集群初始环境_大数据开发环境

开导篇，这里是在虚拟机独立搭建3台机器，完成大数据组件的集群配置，主要是框架Hadoop、Zookeeper、Kafka、Hbase、Flink、ES、Redis、Mysql、Mongdb、dolphinscheduler、Hive、Phoenix、zeppelin、superset。

在具体搭建某个框架在介绍功能，这里先对基础的服务器做配置；

一： 3台相同配置的虚拟机准备

1. 修改3台虚拟机的静态Ip 

（1）修改克隆虚拟机的静态IP

[root@hadpp112~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
如下：

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="5bddb733-eafd-4bd2-8867-3d88b0bded83"
DEVICE="ens33"
ONBOOT="yes"

IPADDR=192.168.10.112
GATEWAY=192.168.10.2
DNS1=192.168.10.2

（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

（3）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

（4）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

 

2   修改克隆机主机名，以下以hadoop112举例说明

（1）修改主机名称

[root@hadoop112 ~]# vim /etc/hostname

hadoop112

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop112 ~]# vim /etc/hosts

添加如下内容

      192.168.10.112 hadoop112

192.168.10.113 hadoop113
192.168.10.114 hadoop114

重启克隆机hadoop112   reboot

然后同样步骤操作hadoop113,hadoop114

最后看到hadoop112 可以ping hadoop113,hadoop114

              hadoop113 可以ping hadoop112,hadoop114

              hadoop114 可以ping hadoop112,hadoop113

这样3台机器可以互相访问，如果要windows也可以访问，就改下hosts

C:\Windows\System32\drivers\etc\host文件 上加：

      192.168.10.112 hadoop112

192.168.10.113 hadoop113
192.168.10.114 hadoop114

 

至此：虚拟机工作完成，下面安装需要的软件和部署框架。