Python爬虫必学数据库：MongoDB

MongoDB由C++编写而成，是免费开源跨平台的非关系型数据库，与关系型数据库不同，MongoDB将数据存储在类似JSON的文档中，这使得数据库非常灵活和可伸缩。

图1

一、环境安装

第一步：需要在MongoDB的官网（https://www.mongodb.com/try/download/community）下载免费的MongoDB安装包。

图2

第二步：安装并启动MongoDB服务。

图3

第三步：需要使用pip命令安装MongoDB驱动程序来访问MongoDB数据库。

pip install pymongo
1

第四步：在操作MongoDB数据库的Python代码中，需要导入pymongo。

import pymongo
1

二、常用概念

1、数据库

数据库是用于存储数据的物理容器，每个数据库在文件系统中都有属于自己的文件集。一台MongoDB服务器中可以创建多个数据库，并且每个数据库都是独立的，都有属于自己的集合和权限，而且不同数据库中的数据会放置在不同的文件中。

2、集合

集合就是一组MongoDB文档的组合，类似于关系型数据库（例如 MySQL）中的数据表。集合存在于数据库中，且没有固定的结构，您可以向集合中插入不同格式或类型的数据。

3、文档

文档是MongoDB中数据的基本单位，由BSON格式（一种计算机数据交换格式，类似于JSON）的键/值对组成，类似于关系型数据库中的一行行数据，但要相对复杂一些。文档具有动态模式，同一集合中的文档不需要具有相同的字段，即使是相同的字段也可以是不同的类型。

4、概念差异

图4

5、优点好处

这种文档型数据存储方式有几个好处：

1. 文档的数据类型可以对应到语言的数据类型，如数组类型（Array）和对象类型（Object）；

2. 文档之间可以嵌套，有时关系型数据库涉及几个表的操作，在MongoDB中一次就能完成，可以减少昂贵的连接花销；

3. 文档不对数据结构加以限制，不同的数据结构可以存储在同一个集合中。

三、创建数据库和集合

1、创建数据库

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
1
2
3

2、创建集合

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
1
2
3
4

3、删除集合

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mycol.drop()
1
2
3
4
5

三、增删改查操作

1、增加文档（Insert）

• 插入一个文档

insert_one()方法返回InsertOneResult对象，该对象拥有属性inserted_id，用于保存插入文档的id。如果没有指定_id字段，MongoDB将为每个文档分配一个唯一的ID。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mydict = { "_id": 1, "platform": "微信公众号", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" }
x = mycol.insert_one(mydict)
print(x.inserted_id)
1
2
3
4
5
6
7

• 插入多个文档

insert_many()方法返回InsertManyResult对象，该对象拥有属性inserted_ids，用于保存被插入文档的id。如果没有指定_id字段，MongoDB将为每个文档分配一个唯一的ID。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mylist = [
  { "_id": 1, "platform": "微信公众号", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 2, "platform": "微信公众号", "name": "angry_it_man", "introduce": "人生苦短，Python是岸！" },
  { "_id": 3, "platform": "CSDN", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 4, "platform": "知乎", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 5, "platform": "稀土掘金", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 6, "platform": "bilibili", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
]
x = mycol.insert_many(mylist)
print(x.inserted_ids)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2、删除文档（Delete）

• 删除一个文档

delete_one()方法的参数是query对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "bilibili" }
mycol.delete_one(myquery)
1
2
3
4
5
6

• 删除多个文档

delete_many()方法的参数是query对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "微信公众号"} 
x = mycol.delete_many(myquery)
print(x.deleted_count, " documents deleted.")
1
2
3
4
5
6
7

• 删除所有文档

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
x = mycol.delete_many({})
print(x.deleted_count, " documents deleted.")
1
2
3
4
5
6

• query对象

图5

3、修改文档（Update）

• 修改一个文档

update_one()方法的第一个参数是query对象，第二个参数是定义文档新值的对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "bilibili"}
newvalues = { "$set": { "introduce": "欢迎关注微信公众号：愤怒的it男" } }
mycol.update_one(myquery, newvalues)
1
2
3
4
5
6
7

• 修改多个文档

update_many()方法的第一个参数是query对象，第二个参数是定义文档新值的对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": {"$ne":"bilibili"}}
newvalues = { "$set": { "introduce": "欢迎关注微信公众号：愤怒的it男" } }
mycol.update_many(myquery, newvalues)
1
2
3
4
5
6
7

4、查询文档（Find）

• 查找一个文档

find_one()方法的第一个参数是query对象，第二个参数是描述包含在结果中字段的对象。

第二个参数不允许同时指定0和1值（除非其中一个字段是_id字段）。如果指定值为0的字段，则所有其他字段的值为1，反之亦然。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "微信公众号"}
x = mycol.find_one(myquery,{ "_id": 0, "platform": 1, "name": 1 })
print(x)
1
2
3
4
5
6
7

• 查找多个文档

find()方法的第一个参数是query对象，第二个参数是描述包含在结果中字段的对象。

第二个参数不允许同时指定0和1值（除非其中一个字段是_id字段）。如果指定值为0的字段，则所有其他字段的值为1，反之亦然。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": {"$ne":"bilibili"}}
for x in mycol.find(myquery,{ "_id": 0, "platform": 1, "name": 1 }):
  print(x)
1
2
3
4
5
6
7

五、其他高级操作

1、排序文档（Sort）

sort()方法的第一个参数是字段名称，第二个参数是方向（默认升序）。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mydoc = mycol.find().sort("_id", -1)
for x in mydoc:
  print(x)
1
2
3
4
5
6
7

2、限定文档（Limit）

limit()方法接受一个参数，定义的数字表示返回的文档数。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myresult = mycol.find().limit(4)
for x in myresult:
  print(x)
1
2
3
4
5
6
7

以上就是“Python爬虫必学数据库：MongoDB”的全部内容，希望对你有所帮助。
​
​关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。