当前位置:   article > 正文

Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

        我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

  1. val date = "2024/07/01"
  2. val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"
  3. val df = spark.read
  4. .format("jdbc")
  5. .option("url", url)
  6. .option("dbtable", "user.table1")
  7. .option("user", user)
  8. .option("password", password)
  9. .option("numPartitions", "8")
  10. .option("query", query) //
  11. .load()

这样是不行的,不能加query

解决

        不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

  .option("dbtable", "user.table1")

思考

        其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/888043
推荐阅读
相关标签
  

闽ICP备14008679号