当前位置:   article > 正文

Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出_flinksql 关联

flinksql 关联

Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库,进行一站式的流数据开发。

 

为什么扩展Flink-SQL?

Flink 本身的SQL语法并不提供对接输入源和输出目的的SQL语法,数据开发在使用过程中需要根据其提供的API接口编写Source和 Sink,不仅需要了解FLink 各类Operator的API,还需要对各个组件的相关调用方式有了解(比如Kafka,Redis,Mongo、Hbase等),异常繁琐。并且在需要关联到外部数据源的时候Flink也没有提供SQL相关的实现方式,若数据开发直接基于原生的Flink SQL进行实时的数据分析,需要较大的额外工作量。

袋鼠云的SteamWorks则聚焦于数据开发人员使用Flink SQL时专注于业务逻辑,只需要关心做什么,而不需要关心怎么做。研发团队对FlinkSQL进行了扩展,用户只需通过可视化配置,完成源表到导入、维表的关联、结果表的导出。

扩展了哪些Flink相关SQL

1.创建源表语句

  1. CREATE TABLE tableName(
  2. colName colType,
  3. ...
  4. function(colNameX) AS aliasName,
  5. WATERMARK FOR colName AS withOffset( colName , delayTime )
  6. )WITH(
  7. type ='kafka09',
  8. bootstrapServers ='ip:port,ip:port...',
  9. zookeeperQuorum ='ip:port,ip:port/zkparent',
  10. offsetReset ='latest',
  11. topic ='topicName',
  12. parallelism ='parllNum'
  13. );
<
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/447696
推荐阅读
相关标签
  

闽ICP备14008679号