python处理大数据越来越慢_请问使用JdbcTemplate读取大数据很慢如何优化？（十几万数据）...

根据我的研究，jdbctemplate 或者其他框架比如 mybatis 等，都不适合实现 大批量(上千万)的查询和导出。虽然 sql可以优化，数据库本身的执行速度可以很快，但是当上千万条的数据导出到 java 的对象时，会直接导致java的 OOM。

这是因为，框架对 jdbc原生的 resultset 做了封装，只能一次性的将千万条结果 转换成 千万个 java对象。频繁的创建对象不仅是查询耗时的真正原因，而且都是不可回收的对象，自然也会OOM。

解决方法是 :

1) 设置 fetchsize 在 100~500之间(oracle默认是10)，有效减少数据库服务端与客户端的交互次数。

2) 使用原生jdbc，手写 while(resultSet.next()){StringBuilder.append(",")方式拼接结果}，及时的将对象保存成 服务器上的 文本文件.txt | 文本文件.csv，最后 使用 IO流 返回。如此可大大提高响应速度，也绝对不会OOM。

========================

著名的Oracle 导出千万数据的开源工具 《sqluldr2》就是利用这个原理。我们完全可以不用这个工具，实现同等效果。2分钟导出 千万条数据不是梦。