Mybatis 批量插入_mybatis 批量insert

insert, update 和 delete

前文我们说到了select标签，以及一些复杂查询的处理。本文我们主要讨论一下Mybatis的批量插入操作。在这之前，我们还是得先了解insert, update 和 delete标签。

<insert
  id="insertAuthor"
  parameterType="domain.blog.Author"
  flushCache="true"
  statementType="PREPARED"
  keyProperty=""
  keyColumn=""
  useGeneratedKeys=""
  timeout="20">

<update
  id="updateAuthor"
  parameterType="domain.blog.Author"
  flushCache="true"
  statementType="PREPARED"
  timeout="20">

<delete
  id="deleteAuthor"
  parameterType="domain.blog.Author"
  flushCache="true"
  statementType="PREPARED"
  timeout="20">
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

普通的修改和删除都非常简单，这里我们不再赘述。我们主要来讨论讨论插入操作。

新建一张测试表t_my_emp

单条数据的插入

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<!-- namespace我们对应到了我们的EmpMapper接口 -->
<mapper namespace="com.yyoo.mybatis.mapper.MyEmpMapper">

    <insert id="insert" parameterType="MyEmp">
        insert into t_my_emp(name,age,sex)
        values(#{name},#{age},#{sex})
    </insert>

</mapper>
1
2
3
4
5
6
7
8
9
10
11
12
13

public class Demo6 {

    public static void main(String[] args) throws IOException {

        String resouce = "mybatis-config.xml";
        InputStream in = Resources.getResourceAsStream(resouce);
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);
        
        SqlSession session = sqlSessionFactory.openSession();
        try{
            MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);
            long start = System.currentTimeMillis();
            int num = 100;
            for (int i = 0;i < num;i++) {
                Random random = new Random();
                MyEmp myEmp = new MyEmp();
                myEmp.setName(AutoNameUtil.autoSurAndName());
                myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上
                myEmp.setSex(random.nextInt(2));
                empMapper.insert(myEmp);
            }

            session.commit();
            long end = System.currentTimeMillis();
            System.out.println("直接insert执行时间："+(end - start));

        }catch (Exception e){
            e.printStackTrace();
            session.rollback();
        }finally {
            session.close();
        }

    }



}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

因为数据库设置了id自增（mysql）所以id属性可以不用传。但如果我们的id是使用的序列来实现的，每次插入前需要查询一次序列的值，再或者我们的id每次插入时是现有的最大id+1怎么办？

使用selectKey标签

    <insert id="insert" parameterType="MyEmp">
        <!-- keyProperty主键的字段名称，order=before表示在insert之前执行 -->
        <selectKey keyProperty="id" resultType="int" order="BEFORE" statementType="PREPARED">
            select ifnull(max(id),0) + 1 from t_my_emp
        </selectKey>
        insert into t_my_emp(id,name,age,sex)
        values(#{id},#{name},#{age},#{sex})
    </insert>
1
2
3
4
5
6
7
8

    public static void main(String[] args) throws IOException {

        String resouce = "mybatis-config.xml";
        InputStream in = Resources.getResourceAsStream(resouce);
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);
        SqlSession session = sqlSessionFactory.openSession();
        try{
            MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);

            Random random = new Random();
            MyEmp myEmp = new MyEmp();
            myEmp.setName(AutoNameUtil.autoSurAndName());
            myEmp.setAge(random.nextInt(50)+15);// 15岁及以上
            myEmp.setSex(random.nextInt(2));
			// 不用设置id
            empMapper.insert(myEmp);
            session.commit();// 提交事务，否则插入不成功

        }catch (Exception e){
            e.printStackTrace();
            session.rollback();
        }finally {
            session.close();
        }

    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

这种写法在批量插入的时候就会在通过java代码来循环执行empMapper.insert。

AutoNameUtil类是随机生成姓名的工具类，请查看Java生成随机常用汉字或姓名一文

使用foreach标签批量插入

    <insert id="insertForeach">
        insert into t_my_emp(name,age,sex)
        values
        <foreach item="myEmp" collection="myEmpList" separator=",">
        (#{myEmp.name},#{myEmp.age},#{myEmp.sex})
        </foreach>
    </insert>
1
2
3
4
5
6
7

public interface MyEmpMapper {

    int insert(MyEmp myEmp);

    int insertForeach(@Param("myEmpList") List<MyEmp> myEmpList);
}

1
2
3
4
5
6
7

public class Demo8 {
    public static void main(String[] args) throws IOException {

        String resouce = "mybatis-config.xml";
        InputStream in = Resources.getResourceAsStream(resouce);
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);
        
        SqlSession session = sqlSessionFactory.openSession();
        try{
            MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);

            int num = 100;
            List<MyEmp> list = new ArrayList<>();
            for(int i = 0; i < num; i++) {
                Random random = new Random();
                MyEmp myEmp = new MyEmp();
                myEmp.setName(AutoNameUtil.autoSurAndName());
                myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上
                myEmp.setSex(random.nextInt(2));
                list.add(myEmp);
            }

            long startTime = System.currentTimeMillis();
            empMapper.insertForeach(list);
            session.commit();
            long endTime = System.currentTimeMillis();
            System.out.println("批量执行时间："+(endTime - startTime));

        }catch (Exception e){
            e.printStackTrace();
            session.rollback();
        }finally {
            session.close();
        }

    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

轻松插入100000条数据。而且速度还很快。有兴趣可以去试试循环执行Mapper.insert方法的插入，看看时间的差距。

以上插入时id值我们使用的mysql的自增id，此时不能使用selectKey标签了。如果不想使用mysql的自增id，这样大批量插入的情况下请使用分布式id。

使用ExecutorType.BATCH

public class Demo9 {
    public static void main(String[] args) throws IOException {

        String resouce = "mybatis-config.xml";
        InputStream in = Resources.getResourceAsStream(resouce);
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);
        
        SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
        try{
            MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);
            long start = System.currentTimeMillis();
            int num = 1000000;
            for (int i = 0;i < num;i++) {
                Random random = new Random();
                MyEmp myEmp = new MyEmp();
                myEmp.setName(AutoNameUtil.autoSurAndName());
                myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上
                myEmp.setSex(random.nextInt(2));
                empMapper.insert(myEmp);
            }

			// 立即执行更新，执行后清除BATCH模式缓存的sql语句
            session.flushStatements();
            session.commit();
            long end = System.currentTimeMillis();
            System.out.println("直接insert执行时间："+(end - start));

        }catch (Exception e){
            e.printStackTrace();
            session.rollback();
        }finally {
            session.close();
        }

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

springBoot下设置BATCH模式

@Bean("sqlSessionTemplate")
    public SqlSessionTemplate sqlSessionTemplate(SqlSessionFactory factory) {
        // 使用上面配置的Factory ，并且设置Template为BATCH方式
        SqlSessionTemplate template = new SqlSessionTemplate(factory, ExecutorType.BATCH);
        return template;
    }
1
2
3
4
5
6

执行时间对比

为了结果的准确性，每次执行前我都将已经插入的数据删除重新插入。

从结果可以看出，foreach 和 BATCH方式在大量数据插入时效率较高。但是foreach在生成的sql语句太长（也就是字符串打大小超过限制之后会报异常），而BATCH的方式不会出现异常。注意：我们的表结构非常简单，实际情况下，表字段可能比较多，那么foreach方式可能在10w条的时候就会报错了。

结论：在数据量级不是特别大的时候推荐使用foreach方式，在数据量级非常大的时候可以使用BATCH方式。批量插入请勿使用循环insert的方式进行。

其实看对比结果foreach方式优势明显，只是数据量过大的时候会报错，那么如果在批量数据的事务要求并不严格的情况下，可以将超大量的数据分批次，按foreach的方式插入，是个不错的解决办法。以上面的时间来看，100w条数据的时间为2913*10=29130ms，远远比149447ms小的多。

上一篇：Mybatis resultMap复杂查询结果映射
下一篇：Spring Boot整合Mybatis