当前位置:   article > 正文

Hadoop——前言、大数据_hadoop的绪论

hadoop的绪论

Hadoop

前言、大数据

1. 概念

单位量级在TB、PB、EB的海量数据

2. 特点4V及应对

  1. Volume(大量)——大数据存储
  2. Velocity(高速)——大数据计算
  3. Variety(多样)——大数据采集
  4. Value(低价值密度)——大数据清洗ETL

3. 大数据部门组织结构

  1. 平台组
  • 集群平台搭建
  • 集群性能监控
  • 集群性能调优
  1. 数据仓库组
  • ETL工程师(12-15k,适合学得差的)
  • 数据分析、数据仓库建模(灵魂)
  1. 实时组
  • 实时指标分析、性能调优
  1. 数据挖掘组(算法组)
  • 算法工程师
  • 推荐系统工程师
  • 用户画像工程师
  1. 报表工程师
  • JavaEE工程师
  • 前端工程师
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/458342
推荐阅读
相关标签
  

闽ICP备14008679号