MyBatis批量插入（sqlserver BULK INSERT）

MyBatis批量插入：

1. foreach方式

2.sqlsession + sqlsession.flushStatements方式:

//        SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false);
//
//        logger.debug("mybatis sql batchinsert start");
//        long start = System.currentTimeMillis();
//        for (int i = 0; i < user.length; i++) {
//            User entity = user[i];
//            userDao.insert(entity);
//            if (i % 5000 == 4999) {
//                sqlSession.flushStatements();
//            }
//        }
//        sqlSession.flushStatements();
//        logger.debug("mybatis sql batchinsert end" + (System.currentTimeMillis() - start));

3.JDBC的executeBatch利用

如果是Mybatis+MySQL 一般推荐利用方式2，但是需要给mySQL连接时追加参数rewriteBatchedStatements=true

具体性能对比可以参考MyBatis批量插入几千条数据慎用foreach_淡然坊-CSDN博客_mybatis批量更新几千条数据

但是如果是Mybatis+sqlserver的话 上述的就不管用了。反而batch更加慢了

因为做foreach的时候因为sqlserver 要求每次最大参数为2100个，因此需要做分批提交 这样每次提交的条数反而在100件以内了。

上述3个方式在1万和10万的数据量下 foreach反而是最快的。

sqlserver针对大数据量的批量插入提供了BULK INSERT的解决案：

BULK INSERT voucher_status_test FROM '/tmp/test.csv'
with (fieldterminator=',', rowterminator='\n',FIRE_TRIGGERS)

这种的是上述四个方式中最快的。

https://docs.microsoft.com/zh-cn/sql/relational-databases/import-export/import-bulk-data-by-using-bulk-insert-or-openrowset-bulk-sql-server?view=sql-server-ver15

继续追加 SQLServerBulkCopy的方式：（不用再两个服务器间进行数据文件的传递）

Connection con = DataSourceUtils.getConnection(dataSourceTransactionManager.getDataSource());
con.setAutoCommit(false);
 if (con.isWrapperFor(SQLServerConnection.class)) {
            try {
                logger.debug("APサーバに出力CSV ファイル開始");
                writeToFile(ap_output_path + csvNm, csv_data);
                logger.debug("APサーバに出力CSV ファイル終了");

                logger.debug("「bulk Copy」実行開始");
                SQLServerBulkCopy bulkCopy = new SQLServerBulkCopy(con.unwrap(SQLServerConnection.class));
                SQLServerBulkCSVFileRecord fileRecord = new SQLServerBulkCSVFileRecord(ap_output_path + csvNm, "UTF-8",
                        new String(new char[] { ',' }), true);

                // Set the metadata for each column to be copied.
                fileRecord.addColumnMetadata(1, "column1", java.sql.Types.NVARCHAR, 20, 0);
                fileRecord.addColumnMetadata(2, "column2", java.sql.Types.NCHAR, 4, 0);
                fileRecord.addColumnMetadata(3, "column3", java.sql.Types.INTEGER, 0, 0);

                SQLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
                copyOptions.setFireTriggers(true); // 启动表中的触发器
                bulkCopy.setBulkCopyOptions(copyOptions);

                bulkCopy.setDestinationTableName("表名");
                bulkCopy.writeToServer(fileRecord);
                logger.debug("「bulk Copy」実行終了");
                logger.debug("APサーバとDBサーバにCSV ファイル削除開始");
                deleteCsvFile(ap_output_path + csvNm);
                logger.debug("APサーバとDBサーバにCSV ファイル削除終了");
            } catch (IOException e) {
                throw new IORuntimeException(e);
            }

官网地址：

通过 JDBC 驱动程序使用大容量复制 - JDBC Driver for SQL Server | Microsoft Docs

其他：