hive on spark 以及 hive on mr

作者：在线问答5 | 2024-06-22 04:38:11

踩

hive on mr

--默认方式是mapreduce
set hive.execution.engine=spark;
select count(*) from sxs_comment_his;1
2

在这里插入图片描述

set hive.execution.engine=MR;
select count(*) from sxs_comment_his;1

在这里插入图片描述

总结：

hive默认方式是mapreduce，比on spark 慢
从最后一张图可以看到一个箭头所覆盖的ip，可以通过这个ip访问YARN的UI界面，可能需要个跳板机，比如我司还需要登陆个win跳板机才能看。怎么找hadoop磁盘的datanode的具体情况的ip我还不知道，是跟同事要的ip
如果要看spark的UI界面，你在运行spark-shell的时候会有ip提示，当然我司这三个界面要看都要通过跳板机

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/745383