当前位置:   article > 正文

大数据流处理引擎和框架大全_apache ballista

apache ballista

大数据流处理框架,应用程序和其他资源的精选列表。

目录

  • 流处理引擎
  • 流处理库
  • 流处理应用
  • 物联网
  • DSL(特定领域语言)
  • 数据管道
  • 在线机器学习
  • 流式SQL
  • 工具包
  • 性能基准
  • 闭源软件

流处理引擎

  • Apache Apex [Java] - 用于大数据流处理和批处理的统一平台。
  • Apache Ballista [Rust]-Apache Arrow支持的分布式计算平台。
  • Apache Flink [Java]-用于高吞吐量,低延迟的数据流处理的系统,支持状态计算,数据驱动的窗口语义和迭代流处理。
  • Apache Heron(incubating) [Java]-来自Twitter的实时,分布式,容错流处理引擎。
  • Apache Samza [Scala / Java]-基于Kafka(消息,存储)和YARN(容错,处理器隔离,安全性和资源管理)构建的分布式流处理框架。
  • Apache Spark Streaming [Scala]-使构建可伸缩的容错流应用程序变得容易。
  • Apache Storm [Clojure / Java]-分布式实时计算系统。Storm是流处理,而Hadoop是批处理。
  • AthenaX [Java]-在生产环境运行的Uber流分析框架。
  • Faust [Python]-流处理库,将Kafka Streams的工作原理用Python实现。
  • Gearpump [Scala]-建立在Akka上的轻量级实时分布式流引擎。
  • Hazelcast Jet [Java]-基于Hazelcast构建的通用分布式数据处理引擎。
  • hailstorm [Haskell]-基于Storm的具有一次精确语义的分布式流处理。
  • Maki Nage [Python]-基于Kafka和ReactiveX的,面向数据科学家的流处理框架。
  • mantis[Java]-Netflix建立的实时流处理应用平台。
  • mupd8(muppet) [Scala / Java]-用于处理快速/流数据的mapReduce样式的框架。
  • Onyx [Clojure]-分布式,无主控,高性能,容错数据处理。
  • s4 [Java]-通用,分布式,可伸缩,高容错,可插拔的平台,允许程序员轻松开发用于处理连续无限制数据流的应用程序。
  • SABRE [Java / C]-基于窗口的混合CPU / GPU流处理引擎。
  • <
本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号