赞
踩
我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下
- val date = "2024/07/01"
-
- val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"
-
- val df = spark.read
- .format("jdbc")
- .option("url", url)
- .option("dbtable", "user.table1")
- .option("user", user)
- .option("password", password)
- .option("numPartitions", "8")
- .option("query", query) //
- .load()
这样是不行的,不能加query
不加query,直接在这里整出全表数据,然后再filter一下我们要的数据
.option("dbtable", "user.table1")
思考
其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。