spark写hive报错 （Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1）

Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1

业务场景：spark 抽取ck数据进Hive
结论：CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错
办法：
1：去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错)

<!--        <dependency>-->
<!--            <groupId>org.apache.spark</groupId>-->
<!--            <artifactId>spark-hive_2.11</artifactId>-->
<!--            <version>2.4.0</version>-->
<!--        </dependency>-->
1
2
3
4
5

2:有看到有人说把这个依赖换成：(这个我没有测试过 不太确定的是否正确 核心应该是把版本号 改成 2.1.1-cdh6.2.1 类似于这种)

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-serde</artifactId>
    <version>2.1.1-cdh6.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.1.1-cdh6.2.1</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>org.apache.hive.hcatalog</groupId>
    <artifactId>hive-hcatalog-core</artifactId>
    <version>2.1.1-cdh6.2.1</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
        </exclusion>
    </exclusions>
</dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27