devbox
我家小花儿
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction_org.apache.flink.table.catalog.schemaresolver

作者：我家小花儿 | 2024-04-25 07:49:57

赞

踩

org.apache.flink.table.catalog.schemaresolver
出错场景

当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。

在多次检查该项目中maven的pom文件导入的依赖和反复查看flink Table API Connector针对hive的官方文档后终于解决了问题。

下面是我处理问题的一些环境版本：

  • flink 1.13.6
  • hive 1.1.0-cdh5.15.1
  • hadoop 2.6.0-cdh5.15.1

这两个问题主要原因是使用maven管理本地环境依赖时依赖没有使用正确。虽说原因很简单，但实际在我们使用排查的时候往往要花费大量的时间解决，而且官方文档的示例主要还是依据主流版本组件给的，所以直接寻找很难找到解决的办法。

错误一：

Exception in thread “main” java.lang.NoSuchMethodError: org.apache.hadoop.hive.common.JavaUtils.closeClassLoadersTo(Ljava/lang/ClassLoader;Ljava/lang/ClassLoader;)Z
at org.apache.flink.table.planner.delegation.hive.HiveParser$HiveParserSessionState.close(HiveParser.java:397)
at org.apache.flink.table.planner.delegation.hive.HiveParser.clearSessionState(HiveParser.java:342)
at org.apache.flink.table.planner.delegation.hive.HiveParser.parse(HiveParser.java:210)
at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:704)
at com.medbook.foreign.ella.transform.ResOperationLog.transRes(ResOperationLog.java:39)
at com.medbook.foreign.ella.transform.ResOperationLog.main(ResOperationLog.java:45)

这个是在我maven的pom中使用如下依赖时产生的，只列出了重点的依赖，在最下面我会给出完整的flink连接hive读写的依赖

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <flink.version>1.13.6</flink.version>
    <scala.binary.version>2.11</scala.binary.version>
    <hive.version>1.1.0</hive.version>
    <hadoop.version>2.6.0</hadoop.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <!--<scope>provided</scope>-->
    </dependency>

    <!--hive-->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>${hive.version}</version>
        <!--<scope>provided</scope>-->
    </dependency>


    <!--hadoop-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
        <!--<scope>provided</scope>-->
    </dependency>
 
</dependencies>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35

我们可以看到hive、hadoop的版本时使用原生的版本，而我的集群环境的hive、hadoop版本都使用的时cdh版本所以报错了此种找不到某个方法的错误，这是由于兼容性问题。

    <hive.version>1.1.0</hive.version>
    <hadoop.version>2.6.0</hadoop.version>

  • 1
  • 2

随后我把它换成了如下的版本：

<hive.version>1.1.0-cdh5.15.1</hive.version><hadoop.version>2.6.0-cdh5.15.1</hadoop.version>

  • 1
错误二：

Exception in thread “main” java.lang.NullPointerException
at org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction(HiveShimV100.java:422)
at org.apache.flink.table.planner.delegation.hive.HiveParser.parse(HiveParser.java:207)
at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:704)
at com.medbook.foreign.ella.transform.ResOperationLog.transRes(ResOperationLog.java:37)
at com.medbook.foreign.ella.transform.ResOperationLog.main(ResOperationLog.java:43)

在我解决完错误一以后又爆出了错误二，看到错误我了解到可能是flink连接hive依赖的版本有问题。如下这个依赖：

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <!--<scope>provided</scope>-->
    </dependency>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

我查阅了官方给的示例maven，如下图。心里想着没错啊，百思不得其解。
在这里插入图片描述

最后突然想到集群环境服务器上我是下载了flink指定hive版本的连接jar包，该不会是maven导入依赖下也需要指定把，于是我再次翻看了文章对应的内容。
在这里插入图片描述

然后我将依赖改为了下面的内容：

<!-- Flink-hive -->
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-sql-connector-hive-1.2.2_${scala.binary.version}</artifactId>
	<version>${flink.version}</version>
	<!--<scope>provided</scope>-->
</dependency>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

依赖竟然导入成功了，我想这次稳了，果然稳了，数据跑出来了。可以看出我把

flink-connector-hive_${scala.binary.version}

  • 1

改成了

flink-sql-connector-hive-1.2.2_${scala.binary.version}

  • 1

就是上面指定的hive版本的连接器jar，所以你们其他版本导入连接依赖时一定也要按照指定版本的来。

下面我的环境下连接hive的最简依赖pom，其他环境也类似，重点是官方示例没有给出的hadoop-client的环境依赖，为啥呢，是因为hive最后也还是要连接hadoop的。相当于我们本地环境需要连接集群的hadoop，所以需要有一个hadoop-client依赖，同时你的本地也配置了连接集群hadoop的hadoop包以及环境变量。而我们官网给出的示例是针对在线上集群环境下的依赖，本身就包含了flink-shaded-hadoop-2-uber-2.7.5-10.0.jar这种连接hadoop的依赖jar，所以就不需要给出啦！但我们本地环境当然需要我们自己配置了。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>book-data-warehouse</artifactId>
        <groupId>com.medbook.warehouse</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.13.6</flink.version>
        <scala.binary.version>2.11</scala.binary.version>
        <hive.version>1.1.0-cdh5.15.1</hive.version>
        <hadoop.version>2.6.0-cdh5.15.1</hadoop.version>
    </properties>

    <dependencies>
    
        <!-- flink-client-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- Flink-hive -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-hive-1.2.2_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
<!--            <scope>provided</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
<!--            <scope>provided</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
<!--            <scope>provided</scope>-->
        </dependency>

        <!-- Hive Dependency -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
<!--            <scope>provided</scope>-->
        </dependency>

        <!--hadoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
<!--            <scope>provided</scope>-->
        </dependency>

    </dependencies>

    <build>

        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>


        </plugins>
    </build>


</project>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133

最后的提醒：由于大数据各组件纷繁，又存在各种版本以及操作依赖的兼容性，所以看官方给出的文档示例一定要举一反三，找到自己版本对应的依赖包、以及api，才能正确书写、并运行代码。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/484105
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号