赞
踩
Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库,进行一站式的流数据开发。
Flink 本身的SQL语法并不提供对接输入源和输出目的的SQL语法,数据开发在使用过程中需要根据其提供的API接口编写Source和 Sink,不仅需要了解FLink 各类Operator的API,还需要对各个组件的相关调用方式有了解(比如Kafka,Redis,Mongo、Hbase等),异常繁琐。并且在需要关联到外部数据源的时候Flink也没有提供SQL相关的实现方式,若数据开发直接基于原生的Flink SQL进行实时的数据分析,需要较大的额外工作量。
袋鼠云的SteamWorks则聚焦于数据开发人员使用Flink SQL时专注于业务逻辑,只需要关心做什么,而不需要关心怎么做。研发团队对FlinkSQL进行了扩展,用户只需通过可视化配置,完成源表到导入、维表的关联、结果表的导出。
1.创建源表语句
- CREATE TABLE tableName(
- colName colType,
- ...
- function(colNameX) AS aliasName,
- WATERMARK FOR colName AS withOffset( colName , delayTime )
- )WITH(
- type ='kafka09',
- bootstrapServers ='ip:port,ip:port...',
- zookeeperQuorum ='ip:port,ip:port/zkparent',
- offsetReset ='latest',
- topic ='topicName',
- parallelism ='parllNum'
- );
<
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。