阿里大数据平台组件_阿里巴巴组件库

EDAS(微服务管理平台)

EDAS兼容SpringCloud,Dubbo,HDFS，它是阿里提供的微服务管理平台

ECS（云服务器）

云服务器,阿里云提供的性能高,稳定可靠，弹性扩展的云计算服务,实现计算资源的即开即用,弹性伸缩。

RDS（关系型数据库）

云关系型数据库

稳定可靠的,可弹性伸缩的在线数据库服务

阿里云关系型数据库RDS包含MySQL、SQL Server、PolarDB、PostgreSQL四种数据库引擎，可以方便快捷地创建出适``合自己应用场景的数据库实例。

DMS（数据管理服务）

数据管理DMS（Data Management Service）是阿里云提供的一种集数据管理、结构管理、研发流程、研发规范、用户管理、权限管理、访问安全于一体的数据管理服务。

MaxCompute（对标Hive）

``支持EB级数据

Hive进阶

Maxcompute中的盘古就相当于Hadoop中的HDFS；

Maxcompute中伏羲就相当于Hadoop中的Yarn;

Maxcompute中MaxCompute Engine 恩珍就相当于Hadoop中的MapReduce 。``

DataWorks(对标Hue)

它和Max Compute紧密,提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务。同时，支持一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。

可以使用DataWorks，对数据进行传输、转换和集成等操作，从不同的数据存储引入数据，并进行转化和开发，最后将处理好的数据同步至其它数据系统。

DataWorks就是基于MaxCompute的PaaS平台

类似于Hue

DataWorks就是基于MaxCompute的PaaS平台，可以简单理解为DataWorks是一个web形式的开发管理工具，而MaxCompute作为存储计算引擎，扮演了IaaS层支撑的角色。

MaxCompute和DataWorks的关系类似Spark和Hue

OSS(对象存储)

对象存储服务，将数据以对象/文件的形式传送到存储空间Bucket中,OSS提供k-v键值对形式的对象存储服务

Data Hub （对标Kafka）

类似于kafka

DATA V (BI工具)

数据可视化

DataX （数据同步框架 ）

数据同步框架

Hologres（实时数仓 对标Persto Ck kylin）

Hologres是阿里巴巴自主研发的一款交互式分析产品，兼容PostgreSQL 11协议，与大数据生态无缝连接，支持高并发和低延时地分析处理PB级数据。

支持快速查询分析MaxCompute的数据

快速搭建实时数仓，Hologres深度集成实时计算Flink版，支持高并发地实时写入和实时查询数据

支持航机存储和列式存储 在PB级别是秒级响应速度

Hologres内部封装的JDBC/ODBC接口,可快速对接BI工具
1
2
3
4
5
6
7
8
9

OTS(对标Hbase)

OTS是构建在阿里云飞天分布式系统之上的 NoSQL 数据库服务
OTS是一个NoSQL的数据库(你可以将它类比为HBase)，在使用方面我们可以将OTS类比为一个技术黑箱，它已经为我们把存储扩容、数据备份、负载均衡等工作做了，使用过程中我们只需透明的使用其提供的高可用和高并发的特性即可。
1
2

PolarDB-X

云原生分布式数据库PolarDB-X（兼容原DRDS）是阿里巴巴集团自主研发的数据库产品，专注于解决单机关系型数据库的扩展问题。

PolarDB-X 1.0兼容MySQL交互协议，支持大部分MySQL的DML和DDL语法
1
2
3

DTS

相对于传统数据迁移或同步工具，DTS为您提供功能更丰富、传输性能更强、易用性更高且安全可靠的服务，帮助您简化复杂的数据交互工作，专注于上层的业务开发。

飞天平台(基础技术架构 相当于Hadoop生态圈)

分布式系统底层服务:协调服务(女娲)，远程过程调用(夸父)，安全管理(钟馗)；
分布式文件系统(盘古)；
分布式资源管理和任务调度系统(伏羲);
集群部署和监控:集群监控(神农)、集群部署(大禹).
1
2
3
4

PaaS、IaaS的区别

IaaS:简单的说用户使用IaaS，有权管理操作系统之上的一切功能。我们常见的IaaS服务有虚拟机、虚拟网络、以及存储。

PaaS:常见的PaaS服务有数据库服务、web应用以及容器服务。成熟的PaaS服务会简化开发人员，提供完备的PC端和移动端软件开发套件（SDK），拥有丰富的开发环境（Inteli、Eclipse、VS等），完全可托管的数据库服务，可配置式的应用程序构建，支持多语言的开发，面向应用市场。