hadoop 集群时间同步_hadoop集群多久同步时间

集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1）需求
找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2）分析
hadoop102 为主节点
hadoop103、hadoop104为分节点

配置时间同步具体操作：

1、时间服务器配置（必须在root用户）

（1）检查是否安装ntp

rpm -qa | grep ntp
1

若有这三个文件则已安装

ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
1
2
3

（2）修改ntp配置文件

vim  /etc/ntp.conf
1

修改如下内容：

a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）

注意此处网关要根据自己实际情况进行修改

把它

 # restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
1

修改为

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
1

b）修改2（集群在局域网中，不使用其他互联网上的时间）

把它

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
1
2
3
4

修改为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
1
2
3
4

c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10
1
2

（3）修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
1

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes
1

（4）重新启动ntpd服务

[root@hadoop102 桌面]# systemctl restart ntpd
1

（5）设置ntpd服务开机启动

[root@hadoop102 桌面]# systemctl enable ntpd
1

2. 其他机器配置（必须root用户）

（1）在其他机器配置10分钟与时间服务器同步一次

[root@hadoop103桌面]# crontab -e
1

编写定时任务如下：

*/10 * * * * /usr/sbin/ntpdate hadoop102
1

（2）修改任意机器时间

[root@hadoop103桌面]# date -s "2019-10-11 12:12:11"
1

（3）十分钟后查看机器是否与时间服务器同步

[root@hadoop103桌面]# date
1

说明：测试的时候可以将10分钟调整为1分钟，节省时间。
若其他机器没有安装ntp也会同步失败