五 Python爬虫之MongoDB以及Python整合MongoDB_python 整合mongodb

一 MongoDB

关于MongoDB入门，博主之前已经介绍过了，这里不再赘述，对MongoDB不了解的童鞋请看这里：MongoDB学习入门

这里做一下补充：介绍一下MongoDB的权限管理

1.1. 为什么要进行权限管理的设置

刚安装完毕的mongodb默认不使用权限认证方式启动，与MySQL不同，mongodb在安装的时候并没有设置权限，然而公网运行系统需要设置权限以保证数据安全，所以我们要学习mongodb的权限管理

1.2. mongodb的权限管理方案

• MongoDB是没有默认管理员账号，所以要先添加管理员账号，并且mongodb服务器需要在运行的时候开启验证模式
  • 用户只能在用户所在数据库登录(创建用户的数据库)，包括管理员账号。
  • 管理员可以管理所有数据库，但是不能直接管理其他数据库，要先认证后才可以。

1.3. mongodb超级管理员账号的创建

1.3.1 创建超级用户

进入mongo shell

sudo mongod
1

使用admin数据库(超级管理员账号必须创建在该数据库上)

use admin
1

创建超级用户

db.createUser({"user":"python","pwd":"python","roles":["root"]})
1

创建成功会显示如下信息

Successfully added user: { "user" : "python", "roles" : [ "root" ] }
1

退出mongo shell

exit
1

1.3.2 以权限认证的方式启动mongodb数据库

sudo mongod --auth
1

启动之后在启动信息中会有如下信息，说明mongodb以权限认证的方式启动成功

[initandlisten] options: { security: { authorization: "enabled" } }
1

1.3.3 登录验证

此时再使用数据库各命令的时候会报权限错误，需要认证才能执行相应操作、

use admin
db.auth('python','python')
1
2

• python用户是创建在admin数据库上的所以必须来到admin数据库上进行认证
• 认证成功会返回1，失败返回0

1.4 创建普通用户

1.4.1 在使用的数据库上创建普通用户

1.选择需要创建用户的数据库

use test1
1

2. 创建用户

db.createUser("user":"user1", "pwd":"pwd1", roles:["read"])
创建普通用户user1,该用户在test1上的权限是只读
db.createUser("user":"user1", "pwd":"pwd1", roles:["readWrite"])
创建普通用户user1,该用户在test1上的权限是读写
1
2
3
4

1.4.2 在admin用户数据库上创建普通用户

use admin
db.createUser({"user":"python1", "pwd":"python1", roles:[{"role":"read","db":"dbname1"},{"role":"readWrite","db":"dbname2"}
]})
1
2
3

在admin上创建python1用户，python1用户的权限有两个，一个再dbname1上的只读，另一个是在dbname2上的读写

1.5. 查看创建的用户

show users
{
	"_id" : "admin.python",
	"user" : "python",
	"db" : "admin",
	"roles" : [
		{
			"role" : "root",
			"db" : "admin"
		}
	]
}
1
2
3
4
5
6
7
8
9
10
11
12

1.6. 删除用户

1.6.1 进入账号数据所在的数据库

use db_name
1

1.6.2 删除用户

db.dropUser('python')
1

二 mongodb和python交互

2.1 mongdb和python交互的模块

pymongo 提供了mongdb和python交互的所有方法
安装方式: pip install pymongo

2.2 使用pymongo

2.2.1 导入pymongo并选择要操作的集合

数据库和集合能够自动创建

2.2.1.1 无需权限认证的方式创建连接对象以及集合操作对象

from pymongo import MongoClient

client = MongoClient(host,port) # 如果是本地连接host,port参数可以省略

collection = client[db名][集合名]
# collection = client.db名.集合名 # 与上边用法相同
1
2
3
4
5
6

2.2.1.2 需要权限认证的方式创建连接对象以及集合操作对象

from pymongo import MongoClient
from urllib.parse import quote_plus

user = 'python' # 账号
password = 'python' # 密码
host = '127.0.0.1' # host
port = 27017 # port
uri = "mongodb://%s:%s@%s" % (quote_plus(user),
                              quote_plus(password),
                              host)
# quote_plus函数：对url进行编码
# uri = mongodb://python:python@127.0.0.1
client = MongoClient(uri, port=port)
collection = client.db名.集合名
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2.2.2 insert()添加数据

insert可以批量的插入数据列表，也可以插入一条数据

collection.insert({一条数据})
collection.insert([{数据一},{数据二}])
1
2

2.2.2.1 添加一条数据

返回插入数据的_id

ret = collection.insert({"name":"test10010","age":33})
print(ret)
1
2

2.2.2.2 添加多条数据

返回ObjectId对象构成的列表

item_list = [{"name":"test1000{}".format(i)} for i in range(10)]
rets = collection.insert(item_list)
print(rets)
for ret in rets:
    print(ret)
1
2
3
4
5

2.2.3 find_one()查找一条数据

接收一个字典形式的条件，返回字典形式的整条数据
如果条件为空，则返回第一条

ret = client.test.test.find_one({'name': 'test10001'})
print(ret) # 包含mongodb的ObjectId对象的字典
_ = ret.pop('_id') # 清除mongodb的ObjectId对象的k,v
print(ret) 
1
2
3
4

2.2.4 find()查找全部数据

返回所有满足条件的结果，如果条件为空，则返回全部
结果是一个Cursor游标对象，是一个可迭代对象，可以类似读文件的指针，但是只能够进行一次读取

rets = collection.find({"name":"test10005"})，
for ret in rets:
    print(ret)
for ret in rets: #此时rets中没有内容
    print(ret)
1
2
3
4
5

2.2.5 update()更新数据(全文档覆盖或指定键值，更新一条或多条)

• 语法：collection.update({条件}, {‘$set’:{指定的kv或完整的一条数据}}, multi=False/True, upsert=False/True)
• multi参数：默认为False,表示更新一条; multi=True则更新多条; multi参数必须和$set一起使用
• upsert参数：默认为False; upsert=True则先查询是否存在,存在则更新;不存在就插入
• $set表示指定字段进行更新

2.2.5.1 更新一条数据；全文档覆盖；存在就更新，不存在就插入

data = {'msg':'这是一条完整的数据1','name':'哈哈'}
client.test.test.update({'haha': 'heihei'}, {'$set':data}, upsert=True)
1
2

2.2.5.2 更新多条数据；全文档覆盖；存在就更新，不存在就插入

data = {'msg':'这是一条完整的数据2','name':'哈哈'} # 该完整数据是先查询后获取的
client.test.test.update({}, {'$set':data}, multi=True, upsert=True)
1
2

2.2.5.3 更新一条数据；指定键值；存在就更新，不存在就插入

data = {'msg':'指定只更新msg___1'}
client.test.test.update({}, {'$set':data}, upsert=True)
1
2

2.2.5.4 更新多条数据；指定键值；存在就更新，不存在就插入

data = {'msg':'指定只更新msg___2'}
client.test.test.update({}, {'$set':data}, multi=True, upsert=True)
1
2

2.2.6 delete_one()删除一条数据

collection.delete_one({"name":"test10010"})
1

2.2.7 delete_many()删除全部数据

collection.delete_many({"name":"test10010"})
1

2.3. pymongo模块其他api

查看pymongo官方文档或源代码 http://api.mongodb.com/python/current/