Hadoop+spark+jupyter环境搭建（一）：Hadoop平台的搭建_jupyter hdfs

Hadoop+spark+jupyter环境搭建顺序请参照：

Hadoop平台的搭建接

基于Hadoop组件Yarn搭建Spark

pyspark+jupyter部署在Linux

一、集群配置信息

集群为1+1，1台master，1台slave的结构

配置（两台一致）：

系统：Ubuntu 14

内核：4核

内存：8G

 

两台主机的信息：

 

二、集群搭建过程

1.    新建hadoop用户，用户密码设置，sudo操作不需要密码等，每台主机一样

登录root用户

$ su root

新建hadoop用户

# adduser hadoop

设置hadoop用户sudo操作不需要密码，修改sudoers文件内容

# vim /etc/sudoers

文件内容：

# User privilege specification
root   ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL) ALL

# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL


# Allow members of group sudo to execute any command
%sudo  ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL)NOPASSWD:ALL