当前位置:   article > 正文

Hadoop集群的搭建及配置

hadoop集群的搭建及配置

一、安装及配置虚拟机

1.创建Linux虚拟机

  1. 打开虚拟化软件:首先,你需要打开你的虚拟化软件,如VMware Workstation或VirtualBox等。
  2. 新建虚拟机:在软件界面中,选择“新建虚拟机”或类似的选项。
  3. 配置虚拟机
  • 兼容性设置:根据软件提示,选择合适的兼容性设置。
  • 安装操作系统:选择“稍后安装操作系统”,因为通常我们会在创建虚拟机后再挂载操作系统镜像。
  • 选择操作系统类型:根据你的需求,选择Linux作为操作系统类型,并选择你希望安装的Linux发行版,如CentOS、Ubuntu等。
  1. 配置虚拟机硬件
  • 名称和位置:为你的虚拟机命名,并选择存储位置。
  • 处理器和内存:根据你的物理机性能和需求,配置虚拟机的处理器数量和内存大小。
  • 网络:配置虚拟机的网络连接方式,如桥接模式、NAT模式或仅主机模式。
  • 硬盘:为虚拟机创建虚拟硬盘,并设置其大小和存储类型。
  1. 完成创建:确认所有配置后,完成虚拟机的创建。
  2. 安装Linux操作系统
  • 挂载镜像:在虚拟机设置中,将你之前下载的Linux操作系统镜像挂载到虚拟机的光驱或USB设备上。
  • 启动虚拟机:启动虚拟机,进入安装界面。
  • 进行安装:按照屏幕提示,选择语言、时区等设置,然后进行系统安装。这通常包括分区硬盘、设置root密码、创建用户等步骤。

2.设置固定IP地址

  1. 查看当前IP地址
    • 在虚拟机中,使用命令ip a来查看当前的IP地址信息。这将显示虚拟机的网络接口以及分配的IPv4地址和子网掩码等。
  2. 编辑网卡配置文件
    • 通常,虚拟机的网络配置文件位于/etc/sysconfig/network-scripts/目录下,文件名类似于ifcfg-ensXX(其中XX是网络接口的名称)。
    • 使用文本编辑器(如vinano)打开该配置文件。
    • BOOTPROTO字段的值从dhcp(动态主机配置协议)更改为static(静态模式)。
    • 添加或修改以下字段以设置静态IP地址、子网掩码、网关和DNS服务器:
      • IPADDR:静态IP地址
      • NETMASK:子网掩码
      • GATEWAY:网关地址
      • DNS1DNS2:首选和备用DNS服务器地址
    • 如果ONBOOT字段的值为no,请将其更改为yes,以确保网络接口在启动时自动激活。
  3. 重启网络服务
    • 保存并关闭配置文件后,重启虚拟机的网络服务以使更改生效。这通常可以通过执行systemctl restart networkservice network restart命令来完成。
  4. 验证设置
    • 使用ip a命令再次查看虚拟机的IP地址信息,确认是否已成功设置为静态IP地址。
    • 尝试从虚拟机ping一个外部地址(如百度或其他网站的IP地址),以验证虚拟机是否可以访问外网。

3.远程连接虚拟机

  1. 确保虚拟机已安装SSH服务器
    • 在虚拟机的Linux系统中,使用命令sudo apt install openssh-server来安装OpenSSH服务器。安装过程中,根据提示输入“Y”以继续安装。
    • 安装完成后,你可以使用sudo service ssh restart命令来重启SSH服务。
  2. 配置SSH服务器
    • 有时,你可能需要编辑SSH配置文件/etc/ssh/sshd_config。使用文本编辑器打开该文件,并检查或修改以下配置:
      • PermitRootLogin yes:允许root用户登录。
      • PasswordAuthentication yes:允许密码验证。
      • ProhibitPasswordAuthentication no:如果不存在这个配置,或者其值为“yes”,请修改为“no”,表示允许密码认证。
    • 修改后,保存并退出编辑器,然后重启SSH服务以应用更改。
  3. 查询虚拟机IP地址
    • 在虚拟机内部,使用ifconfigip addr命令来查看虚拟机的IP地址。
  4. 在本地计算机上连接SSH
    • 在本地计算机上,打开终端或SSH客户端软件。
    • 输入ssh 用户名@虚拟机IP地址命令,其中“用户名”是你在虚拟机上创建的SSH用户名,“虚拟机IP地址”是你在上一步中查询到的IP地址。
    • 如果这是首次连接,系统可能会提示你确认虚拟机的公钥。输入“yes”以接受公钥,并保存至本地known_hosts文件。
    • 输入虚拟机的用户密码,成功验证后即可建立SSH连接。

二、搭建Hadoop完全分布式集群

1.在Linux下安装Java

  1. 检查本地系统环境:首先,你需要检查你的Linux系统版本和内核版本,确保它们与你要安装的Java版本兼容。
  2. 更新软件包:打开终端,并执行sudo apt update命令来更新软件包列表并获取最新的软件包信息。这一步是确保你能够获取到最新的Java安装包。
  3. 安装Java运行时环境(JRE):默认情况下,Ubuntu软件源中提供了OpenJDK,它是Java的开源实现。你可以使用sudo apt install default-jre命令来安装默认的JRE(Java运行时环境)。安装过程中,你将会看到一个确认提示,按下回车键继续安装。安装完成后,JRE将会被配置为系统的默认Java版本。
  4. 安装Java开发工具包(JDK):如果你需要进行Java开发,你还需要安装Java开发工具包(JDK)。在终端中执行sudo apt install default-jdk命令来安装JDK。同样地,安装过程中会有一个确认提示,按下回车键继续安装。
  5. 验证Java安装结果:使用java -version命令来检查Java版本。如果Java已成功安装,将显示Java的版本信息。

2.修改配置文件

  1. 选择文本编辑器:首先,你需要选择一个文本编辑器来打开和编辑配置文件。常用的编辑器包括vivimnano等。这些编辑器在大多数Linux发行版中都是预装的。
  2. 确定配置文件位置:根据你要修改的配置项,找到对应的配置文件。配置文件通常位于/etc目录下或其子目录中,例如/etc/sysconfig/etc/httpd等。有时候,配置文件也可能位于应用程序的安装目录下。
  3. 打开配置文件:使用选定的文本编辑器打开配置文件。例如,使用vi编辑器打开/etc/sysctl.conf文件,可以运行sudo vi /etc/sysctl.conf命令。
  4. 修改配置:在编辑器中,定位到要修改的配置项,并进行相应的更改。注意,修改时要谨慎,避免误操作导致系统或应用程序出现问题。
  5. 保存并退出:完成修改后,保存文件并退出编辑器。在vivim中,通常可以按Esc退出编辑模式,然后输入:wq保存并退出,或输入:q!强制退出不保存。

3.克隆虚拟机

  1. 打开虚拟机管理软件,如VMware Workstation或VirtualBox。
  2. 在虚拟机列表中,选中要克隆的虚拟机,然后右键点击选择“管理”或类似的选项。
  3. 在弹出的菜单中,选择“克隆”或“复制”选项。这将会启动克隆向导。
  4. 在克隆向导中,选择克隆的类型。通常有完整克隆和链接克隆两种选择。完整克隆会创建一个完全独立的虚拟机,与原始虚拟机没有任何关联。链接克隆则依赖于原始虚拟机,如果原始虚拟机损坏,链接克隆将无法使用。根据需求选择合适的克隆类型。
  5. 选择克隆虚拟机的存储位置,并为其命名。
  6. 点击“下一步”或“完成”按钮,开始克隆过程。这可能需要一些时间,具体取决于虚拟机的大小和性能。
  7. 克隆完成后,你将在虚拟机列表中看到新的克隆虚拟机。

4.配置SSH免密登录

  1. 生成密钥对
    • 在客户端上,打开终端并运行ssh-keygen -t rsa命令来生成RSA类型的密钥对。这个命令会提示你选择一个保存密钥的位置(默认为~/.ssh/id_rsa)以及是否设置一个密码短语(passphrase)。你可以选择不设置密码短语以简化后续步骤,但这样可能会降低安全性。
    • 运行命令后,将生成两个文件:私钥(id_rsa)和公钥(id_rsa.pub)。私钥应该保留在本地,而公钥则需要复制到目标服务器上。
  2. 复制公钥到目标服务器
    • 使用ssh-copy-id命令将公钥复制到目标服务器。命令格式为ssh-copy-id <用户名>@<目标服务器IP地址>。例如,如果用户名是john,目标服务器IP地址是192.168.1.100,则命令为ssh-copy-id john@192.168.1.100
    • 第一次运行此命令时,系统可能会提示你输入目标服务器的登录密码。输入正确的密码后,公钥将被复制到目标服务器的~/.ssh/authorized_keys文件中。
  3. 测试免密登录
    • 尝试使用SSH连接到目标服务器,命令为ssh <用户名>@<目标服务器IP地址>。如果一切正常,你应该能够成功连接到服务器而无需输入密码。
  4. 可选配置
    • 为了进一步提高安全性,你可以考虑限制SSH访问的源IP地址、禁用root登录、使用更强大的加密算法等。
    • 另外,定期更换密钥对也是一个好的安全实践。

5.配置时间同步服务

  1. 安装时间同步软件
    • 在Linux系统中,常用的时间同步软件有NTP(Network Time Protocol)和Chrony。你可以根据系统的需求和偏好选择其中一个进行安装。在大多数Linux发行版中,你可以使用包管理器(如yum或apt)来安装这些软件。
    • 例如,在CentOS上安装Chrony,你可以运行yum install chrony命令。在Ubuntu上安装NTP,你可以运行apt-get install ntp命令。
  2. 启动时间同步服务
    • 安装完成后,你需要启动时间同步服务。对于Chrony,你可以使用systemctl start chronyd命令来启动服务。对于NTP,相应的命令是systemctl start ntpd
    • 确保服务在系统启动时自动运行,你可以使用systemctl enable chronydntpd)命令来实现。
  3. 配置NTP服务器
    • 你需要配置NTP服务器以指定可靠的时间源。这通常涉及编辑NTP或Chrony的配置文件。配置文件的位置取决于你使用的Linux发行版和软件。
    • 在配置文件中,你可以指定一个或多个NTP服务器地址。这些服务器应该是可信的、网络可达的,并且能够提供准确的时间信息。
    • 你还可以配置其他选项,如同步间隔、偏移容忍度等,以满足你的特定需求。
  4. 允许客户端连接
    • 确保NTP服务器配置允许客户端进行连接和同步。这通常涉及配置防火墙规则或NTP服务器的访问控制列表。
    • 你还可以配置NTP服务器的广播或多播功能,以便在局域网内广播时间信息。
  5. 在客户端配置时间同步
    • 对于需要同步时间的客户端,你需要配置它们以连接到NTP服务器并自动同步时间。这通常涉及安装相应的客户端软件(如NTP或Chrony客户端)并配置其连接到指定的NTP服务器。
    • 确保客户端在系统启动时自动启动时间同步服务,并定期检查时间同步状态以确保准确性。
  6. 测试和验证
    • 完成配置后,你应该测试和验证时间同步服务的准确性和可靠性。你可以使用date命令来检查客户端和服务器的时间是否一致,或者使用专门的工具来监测时间偏差和同步情况。

6.启动和关闭Hadoop集群

启动Hadoop集群:

  1. 首先,需要切换到Hadoop的sbin文件目录中,例如使用命令cd /opt/server/hadoop/sbin/
  2. 在启动Hadoop集群之前,可能需要格式化HDFS文件系统,使用命令hadoop namenode -format
  3. 启动Hadoop集群的服务进程。这通常包括启动HDFS(Hadoop分布式文件系统)的所有节点上的NameNode(主节点)和DataNode(数据节点)服务,以及启动YARN(Hadoop资源管理器)的所有节点上的ResourceManager(资源管理器)和NodeManager(节点管理器)服务。可以使用./start-dfs.shstart-dfs.sh命令启动HDFS,使用./start-yarn.shstart-yarn.sh命令启动YARN。
  4. 如果需要使用MapReduce历史服务器来查看作业历史信息,可以在一个节点上启动MapReduce历史服务器服务。
  5. 使用jps命令查看进程,确保所有服务都已成功启动。
  6. 访问Hadoop的web网站,通常使用虚拟机IP地址加端口号,例如192.168.191.131:9870

关闭Hadoop集群:

关闭Hadoop集群的过程相对简单,通常涉及到停止相关服务进程。具体的命令可能因Hadoop版本和配置的不同而有所差异,但通常可以通过类似stop-dfs.shstop-yarn.sh的命令来停止HDFS和YARN的服务。

7.监控Hadoop集群

  1. 使用Hadoop自带的监控工具
    • Hadoop集群自带了一些监控工具,如Hadoop管理界面(通常是http://<主机名>:50070)和YARN管理界面(通常是http://<主机名>:8088)。通过这些界面,可以查看集群的状态、任务运行情况、资源使用情况等信息。
    • 还可以使用Hadoop Admin UI、Hadoop Resource Manager、Hadoop NameNode等自带的监控工具,来更详细地查看集群的运行情况。
  2. 使用第三方监控工具
    • 除了Hadoop自带的监控工具外,还可以使用一些第三方监控工具来更全面地监控Hadoop集群。这些工具通常提供了更加丰富的监控指标和可视化界面,如Ambari、Cloudera Manager、Ganglia等。
    • 这些工具能够监控集群的各种指标,如CPU利用率、内存使用情况、磁盘IO、数据节点状态等,并提供告警通知功能,当集群出现异常情况时能够及时发出警告。
  3. 配置邮件、短信等告警通知
    • 为了在集群出现问题时能够及时得到通知,可以配置邮件、短信等告警通知方式。这样,当监控工具检测到集群的异常或性能指标超出阈值时,可以自动发送通知给管理员,以便及时处理。
  4. 集成其他系统监控工具
    • Hadoop集群也可以与其他系统监控工具进行集成,如Nagios、Zabbix、Prometheus等。这些工具通常具有强大的监控和报警功能,可以与其他系统和应用进行集成,提供统一的监控和管理界面。
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/852269
推荐阅读
相关标签
  

闽ICP备14008679号