【头歌】Hadoop开发环境搭建_头歌hadoop开发环境搭建

第1关：配置开发环境 - JavaJDK的配置

任务描述
本关任务：配置 JavaJDK 。

相关知识
配置开发环境是我们学习一门 IT 技术的第一步， Hadoop 是基于 Java 开发的，所以我们学习 Hadoop 之前需要在 Linux 系统中配置 Java 的开发环境。

编程要求
根据上述步骤，配置好 Hadoop 开发环境，点击评测即可。

提示：如果出现文件解压大小限制的情况，可以使用 ulimit -f 1000000 命令来解除限制。

---

开始你的任务吧，祝你成功！

mkdir /app
cd /opt
ll
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app
vim /etc/profile

# 按i进入编辑模式后将下列代码粘贴进去
#----------------------------------------------------------
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH
#----------------------------------------------------------
# 按Esc后输入 :wq 退出

source /etc/profile
java -version
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建

任务描述
本关任务：安装配置 Hadoop 开发环境。

这关真的巨麻烦，要再第一关的基础上配置，要过就两关一起，不然浪费时间

编程要求
根据上述步骤，配置好Hadoop开发环境，点击评测即可。

提示：如果出现文件解压大小限制的情况，可以使用 ulimit -f 1000000 命令来解除限制。

---

开始你的任务吧，祝你成功！

cd /opt
ll
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
ll
mv hadoop-3.1.0 hadoop3.1
ll
ssh-keygen -t rsa -P ''
#上面这行代码输入后再次输入 回车 即可，不需要额外输入
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
1
2
3
4
5
6
7
8
9
10
11

接下来会涉及很多修改文件操作

ctrl+shift+v 可以粘贴
最好了解一下linux的修改文件操作，有三种模式

vim /etc/ssh/sshd_config
# 替换 按i 进入编辑模式后
#----------------------------------------------------------
# 找到
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
#AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
# 改为
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
#----------------------------------------------------------
# 按Esc后输入 :wq 退出

cd /app/hadoop3.1/etc/hadoop/

vim hadoop-env.sh
# 追加 按i 进入编辑模式后，将如下代码粘贴进去，快捷键 ctrl - shift -v【后续不在提醒】
#----------------------------------------------------------
# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/app/jdk1.8.0_171
#----------------------------------------------------------
# 按Esc后输入 :wq 退出【后续不在提醒】


vim yarn-env.sh
# 追加
#----------------------------------------------------------
export JAVA_HOME=/app/jdk1.8.0_171
#----------------------------------------------------------

vim core-site.xml
# 替换
#----------------------------------------------------------
<configuration>  
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>  
#----------------------------------------------------------

vim hdfs-site.xml
# 替换
#----------------------------------------------------------
<configuration>  
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  
</configuration>  
#----------------------------------------------------------

vim mapred-site.xml
# 替换
#----------------------------------------------------------
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
#----------------------------------------------------------

vim yarn-site.xml
# 替换
#----------------------------------------------------------
<configuration>  
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
</configuration>  
#----------------------------------------------------------

mkdir -p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

vim /etc/profile
# 追加
#----------------------------------------------------------
#set Hadoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#----------------------------------------------------------

source /etc/profile
hadoop namenode -format
start-yarn.sh
cd /app/hadoop3.1/sbin

vim start-dfs.sh
# 追加到第一行
#----------------------------------------------------------
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#----------------------------------------------------------

vim stop-dfs.sh
# 追加到第一行
#----------------------------------------------------------
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#----------------------------------------------------------

vim stop-yarn.sh
# 追加到第一行
#----------------------------------------------------------
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
#----------------------------------------------------------

vim start-yarn.sh
# 追加到第一行
#----------------------------------------------------------
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
#----------------------------------------------------------

start-dfs.sh
jps
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158