当前位置:   article > 正文

Linux-Hadoop部署_linux部署hadoop

linux部署hadoop

一、Hadoop部署模式

1、独立模式

在独立模式下,所有程序都在单个JVM上执行,调试Hadoop集群的MapReduce程序也非常方便。一般情况下,该模式常用于学习或开发阶段进行调试程序。

2、伪分布式模式

在伪分布式模式下, Hadoop程序的守护进程都运行在一台节点上,该模式主要用于调试Hadoop分布式程序的代码,以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。

3、完全分布式模式

在完全分布式模式下,Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。

二、Hadoop集群规划

1、集群拓扑

  • 一个主节点,两个从节点
    请添加图片描述

2、角色分配

  • 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。
节点角色
masterNameNode, DataNode
slave1DataNode
slave2DataNode

三、JDK安装与配置

由于Hadoop是由Java语言开发的,Hadoop集群的使用依赖于Java环境,因此安装Hadoop集群之前,需要先安装并配置好JDK。

1、下载JDK压缩包

  • 下载链接:Oracle (需要登录Oracle官网才能下载)
  • 百度网盘下载:
    声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/542713
推荐阅读
相关标签