当前位置:   article > 正文

Spark写数据到Doris报错node and exceeded the max retry times各种可能原因和解决方法_failed to load batch data on be

failed to load batch data on be

用spark dataframe向doris写数据时,报下面错误:

Failed to load data on BE: http://192.168.50.10:18040/api/mydb/dwd_virtual_table/_stream_load? node and exceeded the max retry times.

发现表没写入成功。刚开始很困惑,后来发现是 dataFrame中的字段和目标表不一致 。

这种提示很不友好,有没有更好方式提示,方法是有的,可以用jdbc写入,发现错误时可以看到具体的提示。代码参考如下:

  1. def writeByJDBC(dataframe: DataFrame, dorisTable: String): Unit = {
  2. dataframe.write.format("jdbc")
  3. .mode(SaveMode.Append)
  4. .option("driver", "com.mysql.jdbc.Driver")
  5. .option("url", "jdbc:mysql://" + DORIS_HOST + ":9030/" +DATABASE_NAME + "?rewriteBatchedStatements=false")
  6. .option("batchsize", "" + WRITE_BATCH_SIZE)
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/973216
推荐阅读
相关标签
  

闽ICP备14008679号