CDH安装手册（详细过程）_cdh安装的几个步骤

安装步骤

第一步：修改主机名
修改/etc/sysconfig/network文件：
NETWORKING=yes
HOSTNAME=master

其中HOSTNAME与主机名一致。主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问。修改/etc/hosts文件，添加：
192.168.1.101 master
192.168.1.102 node1
192.168.1.103 node2
192.168.1.104 node3

执行命令：
service network restart

第二步：打通SSH（所有节点）
这里master节点和其他datanode节点会略有区别。 首先说有节点均执行如下命令，遇到提示一路回车即可：
ssh-keygen -t rsa

然后在主节点执行以下命令：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp文件到所有datenode节点：
scp ~/.ssh/authorized_keys root@node1:~/.ssh/

然后输入密码即可，以后再到其他机器就不需要密码额。

第三步：关闭防火墙（所有节点）
防火墙会引起hadoop相关组件通讯的各种异常。 防火墙：
systemctl stop firewalld.service
systemctl disable firewalld.service

修改/etc/selinux/config 下的 SELINUX=disabled （重启后生效）。

第四步：Mysql配置（master节点）
本次安装需要创建如下数据库（不包括Cloudera Manager的数据库，Cloudera Manager数据库有相关脚本创建，后面会有说明）
给用户授权（这里密码设为hadoop）
grant all on . to root@"%" Identified by “password”;

正式开工安装Cloudera Manager 5（cm5）
cloudera-manager下载
将之前准备的cloudera-manager-centos7-cm5.6.1_x86_64.tar.gz放入/opt/目录下，执行解压命令
tar -zxf cloudera-manager-centos7-cm5.6.1_x86_64.tar.gz
注意：这里要是提示解压错误的话，可以在window下面将文件解压，然后拷贝到/opt/目录下面。
给所有节点添加cloudera-scm用户：
useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini 下面的serer_host
server_host=master
其他节点
为Cloudera Manager 5建立数据库：
/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -phadoop --scm-host localhost root root root

格式是:scm_prepare_database.sh 数据库类型 数据库 服务器 用户名 密码 –scm-host Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。 因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动，本次从官网上下载最新稳定版：mysql-connector-java-5.1.30.tar.gz，解压之后放到/opt/cm-5.0.0/share/cmf/lib/目录下。 开启Cloudera Manager 5 Server端：
/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

注意server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。 开启Cloudera Manager 5 Agents端。 先scp /opt/cm-5.6.1到所有datanode节点上，然后在每台机器上开启Agents端：
scp -r /opt/cm-5.6.1 root@datanode1:/opt/cm-5.6.1

等待拷贝成功，在所有datanode节点上启动：（注意必须以管理员权限启动）
sudo /opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start
浏览器启动Cloudera Manager 5 控制台（默认端口号是7180），启动成功就会看到登陆页面。

安装CDH5
先下载到本地http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/，这里需要下载两样东西，首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。下载完成后将这两个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），
CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel
CDH-5.5.0-1.cdh5.6.1.p0.3-el7.parcel.sha1
manifest.json

sha1 需要重名为sha 文件。 使用mv 命令

打开http://192.168.1.101:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示给系统安装组件就可以了。

各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

接下来是服务器检查，可能会遇到以下问题：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

接下来是选择安装服务：

服务配置，一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

下面是集群设置的审查页面，我这里都是保持默认配置的：

服务的安装过程大约半小时内就可以完成：

安装完成后，就可以进入集群界面看一下集群的当前状况了。
这里可能会出现 无法发出查询：对 Service Monitor 的请求超时 的错误提示，如果各个组件安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面就好了：

CDH安装过程的问题解答

问题1：在主节点初始化 CM5的数据库
报错：ld-linux.so.2 bad ELF interpreter
解决：安装 glibc 和 glibc.i686

问题2：
报错：ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
解决：$> ps -ef | grep supervisord
$> kill -9

/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent restart

问题3：server启动时，日志提示端口被占用。
解决：删除java进程。

问题4：web安装，当前管理的主机显示都是本地地址
解决：注释/etc/hosts 的loaclhost ，在检查agent日志的报错。
重启所有agent
重启server

问题4：web数据库设置，登入被拒绝
解决：grant all privileges on . to ‘root’@’%’ identified by ‘password’ with grant option;
F lush privileges
指定主机名或IP地址

问题5：web安装时，群集设置 HDFS格式失败
解决：删除原有的/dfs

问题6：web安装时，群集设置HDFS 创建/tmp失败
解决：ntp一定启动服务器，不能光用命令同步。（这个好像不是问题的所在，但是ntp服务必须要启动的）
还出现，再重试试试。

问题7:web管理页面提示时间偏差
解决：检查ntpdc -c loopinfo
Name or service not known
vim /etc/hosts
添加 本机IP对应localhost 地址