Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

作者：你好赵伟 | 2024-04-18 00:43:28

踩

hadoop ecosystem

Apache Hadoop项目开发用于可靠、可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用程序层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。

此文是Hadoop相关项目的简介，重点关注自由/开源软件。

相关文章
The Hadoop Ecosystem Table
HADOOP ECOSYSTEM
几个有关hadoop生态系统的架构图
 你也能看懂Hadoop——Hadoop生态体系
 HADOOP生态圈介绍

文章目录

Distributed Filesystem 分布式文件系统
- Apache HDFS Hadoop分布式文件系统
- Red Hat GlusterFS 可扩展网络文件系统
- Quantcast File System QFS 高性能、容错、分布式的文件系统
- Ceph Filesystem 可靠地、自动重均衡、自动恢复的分布式存储系统
- Lustre file system 高性能的分布式文件系统
- Alluxio 内存高速虚拟分布式存储
- GridGain 内存计算平台，Hadoop加速器
- XtreemFS 容错的分布式文件系统
Distributed Programming 分布式编程
- Apache Ignite 内存为中心的分布式数据库
- Apache MapReduce 在群集上使用并行分布式算法处理大型数据集的编程模型
- Apache Pig 并行执行数据流的引擎
- JAQL 处理大量结构化、半结构化和非结构化数据的功能性、声明性编程语言
- Apache Spark 用于大规模数据处理的统一分析引擎。
- Apache Storm 分布式实时计算系统
- Apache Flink 分布式数据流处理引擎
- Apache Apex 企业级统一流和批处理引擎
- Netflix PigPen Clojure的map-reduce
- AMPLab SIMR 允许在Hadoop v1上运行Spark
- Facebook Corona 类似YARN
- Apache REEF 可持续计算执行框架
- Apache Twill 简化分布式开发，YARN的代理
- Damballa Parkour 使用类LISP语言Clojure开发MapReduce的程序库
- Apache Hama 批量同步并行(BSP)大数据分析框架
- Datasalt Pangool 底层MapReduce API
- Apache Tez 运行在YARN之上支持DAG作业的计算框架
- Apache DataFu 处理大规模数据的库集合
- Pydoop 用于Hadoop的Python MapReduce和HDFS API
- Kangaroo Kafka数据流批处理
- TinkerPop 用Java编写的图形计算框架
- Pachyderm MapReduce 基于Docker和CoreOS构建的全新MapReduce引擎
- Apache Beam 批处理和流数据处理作业统一模型
NoSQL Databases 非关系型数据库
- Column Data Model 列存储
- Document Data Model 文档型
- Stream Data Model 流式
- - EventStore 复杂事件处理数据库。
- Key-Value Data Model 键值存储
- Graph Data Model 图形
NewSQL Databases 新型数据库
- TokuDB MySQL 高性能存储引擎
- HandlerSocket MySQL的NoSQL插件
- Akiban Server 文档存储和关系数据库结合的数据库
- Drizzle MySQL6的重新设计版本
- Haeinsa HBase的可线性扩展多行多表事务库
- SenseiDB 开源分布式实时半结构化数据库
- SkyDB 行为数据分析数据库
- BayesDB 贝叶斯数据库表
- InfluxDB 分布式时间序列数据库
SQL-On-Hadoop Hadoop上的SQL
- Apache Hive 数据仓库基础设施
- Apache HCatalog Hadoop集群的元数据服务
- Apache Trafodion 事务性SQL-on-Hadoop数据库
- Apache HAWQ Hadoop原生大规模并行SQL分析引擎
- Apache Drill 用于Hadoop、NoSQL和云存储的无模式SQL查询引擎
- Cloudera Impala 实时查询引擎
- Facebook Presto 分布式SQL查询引擎
- Datasalt Splout SQL 大数据SQL视图
- Apache Tajo 大数据关系和分布式数据仓库系统
- Apache Phoenix OLTP和运营分析。
- Apache MRQL 大规模分布式数据分析的查询处理和优化系统
- Apache Kylin 极大型数据集OLAP引擎
Data Ingestion 数据接入
- Apache Flume 海量日志采集聚合传输系统
- Apache Sqoop 关系型数据库与Hadoop数据传递工具
- Facebook Scribe 分布式日志收集系统
- Apache Chukwa 监控大型分布式系统的开源数据收集系统
- Apache Kafka 处理大量流数据的分布式发布 - 订阅系统
- Netflix Suro 数据流管理器
- Apache Samza 分布式流处理框架
- Cloudera Morphline 定义ETL转换链的丰富配置文件
- HIHO 将不同的数据源与Hadoop连接的框架
- Apache NiFi 数据流系统
- Apache ManifoldCF 多内容存储库爬虫
Service Programming 服务编程
- Apache Thrift 跨语言RPC框架
- Apache Zookeeper 分布式应用程序协调服务
- Apache Avro 数据序列化系统
- Apache Curator ZooKeeper的Java/JVM客户端库
- Apache karaf 基于OSGi的运行环境
- Twitter Elephant Bird 处理LZOP压缩数据的实用程序
- Linkedin Norbert 集群管理和工作负载分配库
Scheduling & DR 调度与分布式资源
- Apache Oozie 工作流程调度程序系统
- LinkedIn Azkaban 批处理工作流作业调度程序
- Apache Falcon 面向Hadoop的数据集和处理过程的管理平台
- Schedoscope 调度框架
Machine Learning 机器学习
- Apache Mahout 机器学习库和数学库
- WEKA Java数据挖掘任务的机器学习算法集合
- Cloudera Oryx 大规模机器学习/预测分析基础架构
- Deeplearning4j JVM深度学习框架
- Apache MADlib SQL中的大数据机器学习
- H2O 大数据分析的统计、机器学习和数学运行时工具
- Sparkling Water 在Spark集群中提供H2O功能
- Apache SystemML 适用于大数据的机器学习平台
Benchmarking And QA Tools 基准测试和QA工具
- Apache Yetus 为软件项目提供贡献和发布过程的库和工具
Security 安全
- Apache Sentry Hadoop细粒度角色授权系统
- Apache Knox Gateway Hadoop集群应用程序网关
- Apache Ranger Hadoop平台启用、监控和管理全面数据安全性的框架
System Deployment 系统部署
- Apache Ambari Hadoop管理Web UI
- Cloudera HUE 开发和访问数据应用程序的Workbench。
- Apache Mesos 集群资源管理调度
- Apache Myriad 使用Apache Mesos部署Apache YARN应用程序
- Marathon 生产级容器编排平台
- Apache Brooklyn 简化应用程序部署和管理的库
- Hortonworks HOYA (Apache Slider) 在YARN上运行HBase
- Apache Helix 通用的集群管理框架
- Apache Bigtop 大数据组件全面打包测试和配置
- Cloudbreak 部署Hadoop集群
- Apache Eagle 分析大数据平台安全性和性能
Applications 应用程序
- Apache Nutch 高度可扩展的Web爬网程序
- Sphinx Search Server 全文搜索引擎
- Apache OODT 数据共享框架
- HIPI Library 图像处理库
- PivotalR R语言大数据分析软件包
Development Frameworks 开发框架
- Jumbune 优化Hadoop解决方案
- Spring XD 大数据应用运行时环境
- Cask Data Application Platform 应用程序开发平台
Categorize Pending ... 分类待定
- Apache Fluo 增量更新大型数据集
- Twitter Summingbird 将批处理和流处理组合成混合系统
- Concurrent Cascading 数据分析和数据管理
- Concurrent Lingual 为大数据提供标准SQL
- Concurrent Pattern 机器学习评分算法和预测模型标记语言（PMML）
- Apache Giraph 高可扩展性图处理系统
- Akka Toolkit 为Java和Scala构建高度并发、分布式和弹性的消息驱动应用程序的工具包
- Twitter Finagle 高性能RPC框架
- Intel GraphBuilder 大数据可视化工具
- Apache Tika 内容分析工具包
- Apache Zeppelin 基于Web的笔记本式解释器
- Hydrosphere Mist Spark集群的无服务器代理

Distributed Filesystem 分布式文件系统

Apache HDFS Hadoop分布式文件系统

Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。 HDFS具有高度容错能力，旨在部署在低成本硬件上。 HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。 HDFS放宽了一些可移植性操作系统接口(POSIX)要求，以实现对文件系统数据的流式访问。 HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。 HDFS是Apache Hadoop Core项目的一部分。

Red Hat GlusterFS 可扩展网络文件系统

GlusterFS是一个免费的开源可扩展网络文件系统。使用常见的现成硬件，你可以为流媒体、数据分析以及其他数据和带宽密集型任务创建大型分布式存储解决方案。
GlusterFS最初由Gluster，然后由Red Hat（2011年购买Gluster）开发。2012年6月，Red Hat Storage Server被宣布为商业支持的GlusterFS与Red Hat Enterprise Linux的集成。 Gluster文件系统，现在称为Red Hat Storage Server。

Quantcast File System QFS 高性能、容错、分布式的文件系统

Quantcast File System (QFS) 是一个高性能、容错、分布式的文件系统，其开发是用于支持 MapReduce 处理或者需要顺序读写大文件的应用。QFS是用C++编写的，是一个开源的文件系统，和Hadoop Distributed File Syetem (HDFS)文件系统兼容，更优于HDFS。他采用Reed-Solomon 擦出编码方式，即6(数据块)+3(校验块)替代了HDFS的3倍复制策略，因此，有如下优势：

和HDFS文件系统相比，能够节省50%的磁盘空间
比HDFS提高一倍读写速度。
由于使用C++编写的，更容易和系统软件相兼容。
实现了命令行式的终端，比HDFS更加便捷

Ceph Filesystem 可靠地、自动重均衡、自动恢复的分布式存储系统

Ceph是一个免费的软件存储平台，旨在从单个分布式计算机集群中呈现对象，块和文件存储。 Ceph的主要目标是完全分发、没有单点故障、可扩展到艾字节级别（exabytes=EB，1EB=1024PB=2^60字节），并且可以自由使用。数据被复制，使其具有容错能力。
与当今可用的许多对象存储系统相比，Ceph的对象存储系统提供了重要的功能&#x

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/443140