mongo-删除重复数据_mongodb删除重复数据

mongo-删除重复数据

//使用aggregate聚合查询重复数据
//$group中是查询条件，根据你的字段来聚合相同的数据；
//$count用来统计重复出现的次数， $match来过滤没有重复的数据；
db.getCollection("你的集合名")
.aggregate([{
		$group: {
			_id: {
				你的字段1: '$你的字段1',
				你的字段2: "$你的字段2"
			},
			count: {
				$sum: 1
			},
			dups: {
				$addToSet: '$_id'
			}
		}
	},
	{
		$match: {
			count: {
				$gt: 1
			}
		}
	}

])
.forEach(function(it){
         //保留第一个数据，防止所以重复数据全部被删除
         it.dups.shift();
         //执行删除   
         db.getCollection("wallhaven.cc").remove({_id: {$in: it.dups}});
 
    });
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35