当前位置: article > 正文

Hive 工作机制_hive 的运行机制

作者：我家自动化 | 2024-04-10 02:57:48

踩

hive 的运行机制

Hive 是一个基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一个表，
并提供SQL查询功能，可将SQL语句转换为MapReduce任务进行。

优点：学习成本低、可以通过类SQL语句快速实现MapReduce统计。

将清洗过的数据放入到HDFS中，就可以进行各种统计了
Hive运行时，元数据信息存储在关系型数据库里面，如Mysql，derby。Hive中的元数据包括表的名字、表的列和分区及其属性，表的属性、表的数据所在目录等。
Hive的数据存储在HDFS中，大部分的查询计算由MapReduce完成。
可以在Hive中建表
然后可使用SQL语句查询，每一个SQL语句都被HIve的语法解析器解析，组装成一个MapReduce程序，然后提交给yarn，运行完成后可以把结果输出出来，也可以把表写到其他表里。

Hive利用HDFS存储数据，利用MapReduce查询数据

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/396235