赞
踩
批量操作接口,可执行批量插入、更新、删除操作。
接下来,对比下这三种方式的执行效率。
三种方式的执行效率对比
===========
环境:MongoDB 3.4.4,副本集。
测试思路:分别使用 remove、deleteMany、bulkWrite 删除 10w 条记录(每批删除 5000 条),交叉执行 5 次。
1. remove
// delete_date是删除条件
var delete_date = new Date(“2021-01-01T00:00:00.000Z”);
// 获取程序开始时间
var start_time = new Date();
// 获取满足删除条件的记录数
rows = db.test_collection.find({“createtime”: {$lt: delete_date}}).count()
print(“total rows:”, rows);
// 定义每批需要删除的记录数
var batch_num = 5000;
while (rows > 0) {
// rows也可理解为剩余记录数
// 如果剩余记录数小于batch_num,则将剩余记录数赋值给batch_num
// 为什么要怎么做,后面会提到。
if (rows < batch_num) {
batch_num = rows;
}
// 获取满足删除条件的最小的5000个_id(ObjectID)
var cursor = db.test_collection.find({“createtime”: {$lt: delete_date}}, {“_id”: 1}).sort({“_id”: 1}).limit(batch_num);
rows = rows - batch_num;
cursor.forEach(function (each_row) {
// 通过remove删除记录,这里指定了"justOne": true,每次只能删除一条记录。
// 为了避免误删除,这里同时指定了主键和删除条件。
db.test_collection.remove({‘_id’: each_row[“_id”], “createtime”: {‘$lt’: delete_date}}, {
“justOne”: true,
w: “majority”
})
});
}
// 获取程序结束时间
var end_time = new Date();
// 两者的差值,即为程序执行时长
print((end_time - start_time) / 1000);
2.
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。