hadoop集群优化(一)：ntpd时间同步_hadoop 集群时间同步

说明

hadoop集群个节点时间同步非常重要，如果服务器间时间不同步，将引发集群服务异常。
主流设置时间同步服务的软件有两个ntpd和chrony，功能和稳定性推荐使用 centos7时间同步chrony。由于最早使用ntpd配置，这里先介绍ntpd时间同步。

分享

• 大数据博客列表
• 开发记录汇总
• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

配置时间同步

• 外网服务器可配置大公司或国内大学时间同步服务器。
• 内网集群设置时间同步，必须有核心的时间服务器，这里以hadoop102作为时间服务器。
• 时间同步需要ntpd软件实现，先确认所有节点是否有ntpd服务，

创建时间服务器

安装ntpd服务

• 登录hadoop102
  • 切换root用户：su root
  • 查看ntpd服务：systemctl status ntpd
    • 无此服务时，安装ntpd：yum -y install ntpd
  • 开启ntpd服务：systemctl start ntpd
  • 开机启动：systemctl enable ntpd
    • 查看是否开机启动：systemctl is-enabled ntpd

配置ntpd服务

• root用户编辑文件：vi /etc/ntp.conf

  • 添加内容，设置允许时间同步的主机范围：restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
  • 关闭时钟，使用102时间：

  #server 0.centos.pool.ntp.org iburst
  #server 1.centos.pool.ntp.org iburst
  #server 2.centos.pool.ntp.org iburst
  #server 3.centos.pool.ntp.org iburst
  1
  2
  3
  4

  • 添加如下内容，当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步：

  server 127.127.1.0
  fudge 127.127.1.0 stratum 10
  1
  2

• 配置硬件时间与系统时间一致，编辑文件：vi /etc/sysconfig/ntpd，增加内容 SYNC_HWCLOCK=yes
  

• 重启ntpd服务：systemctl restart ntpd

配置其他节点

配置时间服务器

• 关闭ntpd服务和开机启动

systemctl stop ntpd
systemctl disable ntpd
1
2

• 配置crontab定时任务时间同步，编辑：crontab -e，追加内容： */1 * * * * /user/sbin/ntpdate hadoop102

验证

• 修改服务器时间：date -s "2021-9-11 11:11:11"
• 一分钟查看时间：date

总结

• 所有节点同步时间服务器(hadoop102)时间配置完毕，部署时，以实际情况为主。