大数据平台搭建，cdh选型配置_cdh大数据平台12台服务器参数配置参考

天天干后端，又干前端，本行大数据，差点生疏了，哦吼~正当我发愁之际。

领导安排任务了，下个月去某控上市公司。他们需要从0 开始做大数据平台，主要工作内容如下，

平台搭建，数据迁移，数据分析与挖掘。然后让我招2个大数据小弟和我一起去干活。

---

由于工作大致分3块，而前2块是核心，数据平台搭建和数据迁移，这种东西搞不好，问题比较严重，所以我不是很放心，交给他们，因为公司开的工作年限招小弟，只有2年以上经验，我想工资给的也不会高，2年左右，在公司中，一般不会给你机会，让你搭建平台。所以我先以悲观的想法，去整这件事。小弟招不好，我干活就累。所以一方面，梳理和复习搭建的技术，另一方面，从中抽取些面试题，然后面新人。

怎么做呢，先对比下自己公司的cdh（测试服局域网）是什么个硬件

硬件如下

 12台主机，其中前三台是数据核心，磁盘是120T，内存是64G

总共加起来，磁盘140TB，内存64G*12左右

应用服务配置

flume是3台，hbase3台，hdfs3台。对于计算的全是12台，存储数据的就是那3台（占120GB磁盘）的3台。对于可视化界面hue，ooize调度，这些辅助工具都是只有1个。

kudu数据仓库与impala查询配合，所以也是12台

 先暂时这样，我要去写招人文档了

各版本信息