企业级大数据平台架构实战（附实战环境）_企业级数据平台bath

一、企业大数据平台架构

1、企业流行大数据平台架构

• 数据采集

我们有多个数据源，涉及在不同地域、不同网络，因此数据汇聚是个难题，我们主要采集的数据信息有，媒体发送过来的数据、移动设备app数据、爬虫系统获取的数据、自营销系统数据。

数据采集推荐采用Filebeat，Filebeat是一个开源的文本日志收集器，采用go语言开发，它重构了logstash采集器源码，安装在日志产生服务器上来监视日志目录或者特定的日志文件，并把他们发送到logstash、elasticsearch以及kafka上。

• 数据传输

数据分散分别在多个数据中心，要将产生的数据实时传送到自建数据中心，我们使用了Filebeat+kafka架构，并采用kafka mirrormaker做数据的同步。

• 数据分析

数据分析分我们主要有两大部分：流式数据和离线数据。

对处理时间敏感的计算，例如实时报表，监控预警、大屏展示等功能采用流式计算。我们使用了Storm和flink两种流式分析工具。

对用户行为数据、设备号数据，点击、曝光等数据，我们使用离线计算来处理，因为这种数据量大、逻辑复杂，需要较长的运行时间。以上所有数据最终都存储在HDFS中。

• 数据输出与展示

通过提供数据分析接口&#