当前位置:   article > 正文

大数据Hadoop,XShell,启动集群(HDFS,YARN)和关闭防火墙代码_xshell启动hadoop命令

xshell启动hadoop命令

大数据Hadoop,XShell,打开集群(HDFS,YARN)和关闭防火墙代码

(1) 启动HDFS:

 [wgb@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
  • 1

(2)启动YARN:

[wgb@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
  • 1

(3) 关闭防火墙:

[wgb@hadoop102 hadoop-3.1.3]$ systemctl stop firewalld
  • 1

注:在启动HDFS或YARN时,必须先关闭防火墙

(4).什么是HDFS?

简述:HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统。是由很多服务器联合起来实现其功能,且集群中的服务器各有各自的角色;是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
HDFS使用场景:一次写入,多次读出的场景,且不支持对文件的修改。
正因为如此,HDFS适合用来做大数据分析的底层存储服务,并不适合用来做.网盘等应用,因为,修改不方便,延迟大,网络开销大,成本太高。

特性:他是一个文件系统,并且是分布式的。
HDFS只是分布式文件管理系统中的一种。

(5).什么是YARN?

YARN全名为: Yet Another Resource Negotiator

YARN:下一代的MapReduce系统框架,也称为MRv2(MapReduce version 2), 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。

YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG。
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/空白诗007/article/detail/775182
推荐阅读
相关标签
  

闽ICP备14008679号