mysql 多线程查询全部数据_python使用多线程查询数据库的实现示例

一.背景：

当数据量过大时，一个程序的执行时间就会主要花费在等待单次查询返回结果，在这个过程中cpu无疑是处于等待io的空闲状态的，这样既浪费了cpu资源，又花费了大量时间（当然这里主要说多线程，批量查询不在考虑范围，总会存在不能批量查询的情况），在这种非密集型运算（及大量占用cpu资源）的情况下在python中无疑运用多线程是一个非常棒的选择。

二.知识点：

数据库连接池的运用及优势，python中多线程的运用，队列的运用

数据库连接池：限制了数据库的连接最大个数，每次连接都是可以重复使用的，当然也可以限制每个连接的重复使用次数（这个在这里是没必要的），需要注意的是设置的数据库的最大连接个数最好要大于我们自己开的最大线程个数，一般逻辑是每个线程占用一个数据库连接可以使程序达到最大速度，如果小于则可能存在同时连接个数大于数据库允许的最大连接个数的风险。使用数据库连接池的优势在于，python多线程并发操作数据库，会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题，而数据库连接池提供线程间可共享的数据库连接，并自动管理连接。

python多线程：在程序等待io的时间里调用多线程去数据库执行查询操作。

队列：这个就是数据结构里面的知识了，一般队列的常用模式先进先出队列。（这里主要用的是队列取一个数就少一个数的原理，其实用列表也可以实现，他的先进先出主要强调的是一个顺序关系，这一点到没用上，就当是练练手了）

三.两段代码作比较：

数据库的截图：