流式查询1.0

流式查询（解决大数据查询OOM问题）

1. 什么是流式查询？

流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。

如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。

流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数据后自己关闭。

2. 流式查询的用处？

当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。
当数据库数据过大，普通查询：

------关于 GC overhead limit exceeded

JVM花费了98%的时间进行垃圾回收，而只得到2%可用的内存，频繁的进行内存回收(最起码已经进行了5次连续的垃圾回收)，JVM就会曝出java.lang.OutOfMemoryError: GC overhead limit exceeded错误

3. 实现流式查询

    @Override
    @Transactional(rollbackFor = Exception.class)
    public List<Employee> streamingQuery() {
        ArrayList<Employee> list = new ArrayList<>();
        Cursor<Employee> employees = employeeMapper.streamingQuery();
        Iterator<Employee> it = employees.iterator();
        while (it.hasNext()) {
            list.add(it.next());
        }
        return list;
    }
1
2
3
4
5
6
7
8
9
10
11

	/**
	ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。 
	ResultSet.TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动，当数据库变化时，当前结果集不变。 
	ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集，当数据库变化时，当前结果集同步改变。
	fetchSize :每次获取量
	*/
    @Select("select * from employee")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)
    @ResultType(Employee.class)
    Cursor<Employee> streamingQuery();
1
2
3
4
5
6
7
8
9
10

注意：如果不加@Transactional(rollbackFor = Exception.class)会报错

java.lang.IllegalStateException: A Cursor is already closed.
1

在取数据的过程中需要保持数据库连接，而 Mapper 方法通常在执行完后连接就关闭了，因此 Cusor 也一并关闭了。