spark操作hive（可解决绝大部分的问题）、sparksql操作hive_org.apache.spark.sql.sparksession$builder.enablehi

目标：

想要完成使用spark在windows的idea下操作hive（对hive中的表查询等）

最终代码（java）：

import org.apache.spark.sql.SparkSession;

import java.io.Serializable;

/**
 * Created by Administrator on 2017/4/3.
 */
public class SQLHiveJava {
   
    
    public static void main(String[] args) {
   

        SparkSession spark = SparkSession
                .builder()
                .appName("Java Spark Hive Example")
                .master("local[*]")
                .config("spark.sql.warehouse.dir","hdfs://mycluster/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate();


        spark.sql("show databases").show();
        spark.sql("select count(*) from mobike.logs").show();
        spark.sql("select * from mobike.logs").show();

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

结果展示：

整个过程用了我1天多时间独立研究，出现各种各样的问题，而且网上的贴子找了很多，