赞
踩
报错截图:
整合Hive过程:
hive版本:hive-1.1.0-cdh5.14.0 spark版本:spark-2.0.2-bin-hadoop2.7
将hive的conf目录下的hive-site.xml配置文件拷贝到spark的conf目录下。
hive的元数据存储在远端的mysql上,所以需要将mysql-connector-java-5.1.38.jar添加到spark的jars中。
将hive-site.xml和mysql-connector-java-5.1.38.jar分别分发spark集群的其它机器上。
在spark的Master节点进入sparkSQL的shell交互窗口:
./spark-sql --master spark://node03:7077 --executor-memory 1g --total-executor-cores 2
一运行就抛出一个上面的异常,网上给出的解决方案是版本问题,说是hive版本过高。
我的解决过程是,由于我的hive元数据是保存在远端的mysql上,所以需要启动hive服务:
nohup hive --service metastore > /dev/null 2>&1 &
启动hive元数据服务后,进入sparkSql的交互界面就正常了。
关于hive的元数据(metastore)配置方式可以参考另一片博文:https://blog.csdn.net/dufufd/article/details/78614958
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。