赞
踩
根据我的研究,jdbctemplate 或者其他框架比如 mybatis 等,都不适合实现 大批量(上千万)的查询和导出。虽然 sql可以优化,数据库本身的执行速度可以很快,但是当上千万条的数据导出到 java 的对象时,会直接导致java的 OOM。
这是因为,框架对 jdbc原生的 resultset 做了封装,只能一次性的将千万条结果 转换成 千万个 java对象。频繁的创建对象不仅是查询耗时的真正原因,而且都是不可回收的对象,自然也会OOM。
解决方法是 :
1) 设置 fetchsize 在 100~500之间(oracle默认是10),有效减少数据库服务端与客户端的交互次数。
2) 使用原生jdbc,手写 while(resultSet.next()){StringBuilder.append(",")方式拼接结果},及时的将对象保存成 服务器上的 文本文件.txt | 文本文件.csv,最后 使用 IO流 返回。如此可大大提高响应速度,也绝对不会OOM。
========================
著名的Oracle 导出千万数据的开源工具 《sqluldr2》就是利用这个原理。我们完全可以不用这个工具,实现同等效果。2分钟导出 千万条数据不是梦。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。