当前位置:   article > 正文

mac搭建大数据开发环境_mac搭建大数据环境

mac搭建大数据环境

mac安装Hadoop/hbase/spark:mac系统下安装hadoop+hbase+spark单机版+IDEA和scala编写使用spark来计算的helloworld程序_sxjlinux的博客-CSDN博客

mac idea+sbt运行spark程序:mac系统使用idea+sbt运行spark程序_mac spark idea_sxjlinux的博客-CSDN博客

mac安装hive:mac下hive的安装步骤_mac hive_sxjlinux的博客-CSDN博客

spark查询hive:使用idea, sparksql读取hive中的数据_xiaolin_xinji的博客-CSDN博客

踩坑:

1.提示无法连接thrift://master:9083

将hive-site.xml中的master:9083改为127.0.0.1:9083

2.提示Table or view not found: employee; line 1 pos 14

将代码spark.sql(sql2).show()改为spark.sql(sql).show()

spark查询mysql:Spark-SQL读取mysql数据_spark 读取mysql 用sql语句可以吗_sxjlinux的博客-CSDN博客

踩坑:

1.sparkSession无法导入,在maven pom.xml文件中加入如下配置

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.11</artifactId>

<version>2.2.0</version>

</dependency>

2.运行报错Exception in thread "main" java.lang.ClassNotFoundException: com.mysql.cj.jd

将jar包mysql-connector-java-8.0.26.jar导入到项目中

3.运行报错Exception in thread "main" com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure

将代码中的mysql://master:3306/hive改为mysql://127.0.0.1:3306/hive

4.hive运行sql报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

执行命令:hive --service metastore &

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/726783
推荐阅读
相关标签
  

闽ICP备14008679号