devbox
小蓝xlanll
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python爬虫热点项目之实现代理IP池（IP proxy pool）_ip proxy pool api

作者：小蓝xlanll | 2024-03-08 04:59:41

赞

踩

ip proxy pool api

代理池概述

代理池就是由多个稳定可用代理IP组成的池子。用来应对ip反爬，而网上的免费代理稳定可用的极少，更有甚者连收费的也不都是稳定可用。

开发环境：

windous，python3，sublime text

使用的主要模块：

requests，lxml，pymongo，Flask

完整源码请前往我的github仓库查看：https://github.com/R2h1/ProxyPool 欢迎star哦！！！

代理池工作流程

文字描述：

代理IP采集模块：抓取代理IP—>校验代理IP的可用性—>可用存储数据库

校验模块：读取数据库的代理IP—>校验代理IP可用性—>更新或删除代理IP

代理API模块：从数据库中获取稳定可用的代理IP，供其他爬虫使用

代理池项目结构： 

项目结构中模块及其作用：

mongo_pool模块：代理IP增删改查模块

proxy_spider包：采集代理IP

httpbin_validator模块：检测代理的可用性—speed，协议类型，匿名程度（原因: 网站上所标注的协议类型和匿名类型是不准确的）

proxy_api模块：提供爬虫或稳定可用代理IP和指定不可用域名的接口

proxy_test模块：获取数据库中代理IP，定期检测可用性

dbmodle模块：代理IP数据模型

main模块：程序入口

http模块：提供随机User-Agent的请求头

log模块：记录日志

settings模块：项目配置文件

项目实现思路

先实现不依赖其他模块的基础模块，然后在实现具体功能模块

1. 实现代理IP的数据模型类（dbmodle.py）

  1. '''
  2. 代理ip数据模型模块
  4. 定义一个类, 继承object
  5. 实现init方法, 负责初始化, 包含如下字段:
  6. 	ip: 代理的IP地址
  7. 	port: 代理IP的端口号
  8. 	protocol: 代理IP支持的协议类型,http是0, https是1, https和http都支持是2
  9. 	nick_type: 代理IP的匿名程度, 高匿:0, 匿名: 1, 透明:2
  10. 	speed: 代理IP的响应速度, 单位s
  11. 	area: 代理IP所在地区
  12. 	score: 代理IP的评分, 默认分值可以通过配置文件进行配置. 在进行代理可用性检查的时候, 每遇到一次请求失败就减1份, 减到0的时候从池中删除. 如果检查代理可用, 就恢复默认分值
  13. 	disable_domains: 不可用域名列表, 有些代理IP在某些域名下不可用, 但是在其他域名下可用
  14. 创建配置文件: settings.py; 定义MAX_SCORE = 50, 
  15. '''
  16. from settings import MAX_SCORE
  17.  
  18. class Proxy(object):
  19.  
  20. 	def __init__(self,ip,port,protocol=-1,nick_type=-1,speed=-1,area=None,score=MAX_SCORE,disuseble_dommains=[]):
  21. 		#代理ip的地址
  22. 		self.ip = ip
  23. 		#代理ip的端口号
  24. 		self.port = port
  25. 		#代理ip支持协议类型：支持http为0，支持https为1，都支持为2
  26. 		self.protocol = protocol
  27. 		#代理ip的匿名程度：高匿为0，匿名为1，透明为2
  28. 		self.nick_type =nick_type
  29. 		#代理ip的响应速度
  30. 		self.speed = speed
  31. 		#代理ip所在地区
  32. 		self.area = area
  33. 		#代理ip的评分，衡量代理ip的可用性
  34. 		self.score =score
  35. 		#代理ip的不可用域名列表
  36. 		self.disuseble_dommains =disuseble_dommains
  37.  
  38. 	def __str__(self):
  39. 		#返回数据字符串
  40. 		return str(self.__dict)
  41.

 

2. 实现日志记录模块（log.py）

目的：

  • 能够方便的对程序进行调试
  • 能够记录程序的运行状态
  • 记录错误信息

实现：日志模块在网上有很多现成的实现, 我们开发的时候, 通常不会再自己写; 而是使用拿来主义，拿来用就完了。

  • 把日志模块中的相关配置信息放到配置文件中
  • 修改日志模块代码，使用配置文件中的配置信息
  1. '''
  2. 记录日志的模块
  3. '''
  4.  
  5. import sys,os
  6. #Python的标准日志模块：logging
  7. import logging
  8. #将上级目录添加到搜索路径中
  9. sys.path.append("../")
  10.  
  11. from settings import LOG_LEVEL,LOG_FMT ,LOG_DATEFMT,LOG_FILENAME 
  12.  
  13. class Logger(object):
  14.  
  15.     def __init__(self):
  16.         #获取一个logger对象
  17.         self._logger = logging.getLogger()
  18.         #设置format对象
  19.         self.formatter = logging.Formatter(fmt=LOG_FMT,datefmt=LOG_DATEFMT)
  20.         #设置日志输出——文件日志模式
  21.         self._logger.addHandler(self._get_file_handler(LOG_FILENAME))
  22.         #设置日志输出——终端日志模式
  23.         self._logger.addHandler(self._get_console_handler())
  24.         # 4. 设置日志等级
  25.         self._logger.setLevel(LOG_LEVEL)
  26.  
  27.     def _get_file_handler(self, filename):
  28.         '''
  29.         返回一个文件日志handler
  30.         '''
  31.         # 获取一个输出为文件日志的handler
  32.         filehandler = logging.FileHandler(filename=filename,encoding="utf-8")
  33.         # 设置日志格式
  34.         filehandler.setFormatter(self.formatter)
  35.         # 返回
  36.         return filehandler
  37.  
  38.     def _get_console_handler(self):
  39.         '''
  40.         返回一个输出到终端日志handler
  41.         '''
  42.         #获取一个输出到终端的日志handler
  43.         console_handler = logging.StreamHandler(sys.stdout)
  44.         #设置日志格式
  45.         console_handler.setFormatter(self.formatter)
  46.         # 返回handler
  47.         return console_handler
  48.  
  49.     #属性装饰器，返回一个logger对象
  50.     @property
  51.     def logger(self):
  52.         return self._logger
  53.  
  54. # 初始化并配一个logger对象，达到单例
  55. # 使用时，直接导入logger就可以使用
  56. logger = Logger().logger
  57.  
  58. if __name__ == '__main__':
  59.     print(logger)
  60.     logger.debug("调试信息")
  61.     logger.info("状态信息")
  62.     logger.warning("警告信息")
  63.     logger.error("错误信息")
  64.     logger.critical("严重错误信息")

 

3.校验代理IP的协议类型、匿名程度，速度（httpbin_validator.py）

  1. '''
  2. 代理IP速度检查: 就是发送请求到获取响应的时间间隔
  3. 匿名程度检查:
  4. 		对 http://httpbin.org/get 或 https://httpbin.org/get 发送请求
  5. 		if : origin 中有','分割的两个IP就是透明代理IP
  6. 		if : headers 中包含 Proxy-Connection 说明是匿名代理IP
  7. 		else : 就是高匿代理IP
  8. 检查代理IP协议类型:
  9. 	如果 http://httpbin.org/get 发送请求可以成功, 说明支持http协议
  10. 	如果 https://httpbin.org/get 发送请求可以成功, 说明支持https协议
  11. '''
  12. import sys
  13. import time
  14. import requests
  15. import json
  16. sys.path.append("..")
  17. from proxy_utils import random_headers
  18. from settings import CHECK_TIMEOUT
  19. from proxy_utils.log import logger
  20. from dbmodle import Proxy
  21.  
  22.  
  23. def check_proxy(proxy):
  24. 	'''
  25. 	分别判断http和https是否请求成功
  26. 	'''
  27. 	#代理ip
  28. 	proxies = {
  29. 	'http':'http://{}:{}'.format(proxy.ip,proxy.port),
  30. 	'https':'https://{}:{}'.format(proxy.ip,proxy.port),
  31. 	}
  32.  
  33. 	http,http_nick_type,http_speed = http_check_proxies(proxies)
  34. 	https,https_nick_type,https_speed = http_check_proxies(proxies,False)
  35.  
  36. 	if http and https:
  37. 		proxy.protocol = 2  #支持https和http
  38. 		proxy.nick_type =http_nick_type
  39. 		proxy.speed = http_speed
  40. 	elif http:
  41. 		proxy.protocol = 0  #只支持http
  42. 		proxy.nick_type =http_nick_type
  43. 		proxy.speed = http_speed
  44. 	elif https:
  45. 		proxy.protocol = 1 #只支持https
  46. 		proxy.nick_type =https_nick_type
  47. 		proxy.speed = https_speed
  48. 	else:  
  49. 		proxy.protocol = -1
  50. 		proxy.nick_type = -1
  51. 		proxy.speed = -1
  52. 	
  53. 	#logger.debug(proxy)
  54.  
  55. 	return proxy
  56.  
  57. def http_check_proxies(proxies,isHttp = True):
  58. 	'''
  59. 	代理ip请求校验ip
  60. 	'''
  61. 	nick_type = -1 #匿名程度变量
  62. 	speed = -1  #响应速度变量
  63. 	if isHttp:
  64. 		test_url = 'http://httpbin.org/get'
  65. 	else:
  66. 		test_url = 'https://httpbin.org/get'
  67. 	#requests库请求test_url
  68. 	try:
  69. 		#响应时间
  70. 		start_time = time.time()
  71. 		res = requests.get(test_url,headers = random_headers.get_request_headers(),proxies = proxies,timeout = TCHECK_TIMEOUT)
  72. 		end_time = time.time()
  73. 		cost_time =end_time-start_time
  74.  
  75. 		if res.status_code == 200:
  76. 			#响应速度
  77. 			speed = round(cost_time,2)
  78. 			#转换为字典
  79. 			res_dict = json.loads(res.text)
  80. 			#获取请求来源ip
  81. 			origin_ip = res_dict['origin']
  82. 			#获取响应请求头中'Proxy-Connection',若有,说明是匿名代理
  83. 			proxy_connection = res_dict['headers'].get('Proxy-Conntion',None)
  84.  
  85. 			if "," in origin_ip:
  86. 				#如果响应内容中的源ip中有‘,’分割的两个ip的话及时透明代理ip
  87. 				nick_type = 2 #透明
  88. 			elif proxy_connection:
  89. 				#'Proxy-Connection'存在说明是匿名ip
  90. 				nick_type = 1 #匿名
  91. 			else:
  92. 				nick_type =0  #高匿
  93. 			return True,nick_type,speed
  94. 		else:
  95. 			return False,nick_type,speed
  96. 	except Exception as e:
  97. 		#logger.exception(e)
  98. 		return False,nick_type,speed
  99.  
  100. if __name__ == '__main__':
  101. 	proxy = Proxy('60.13.42.94','9999')
  102. 	result = check_proxy(proxy)
  103. 	print(result)

4. 实现数据库模块（增删改查功能和api功能——mongo_pool.py）

定义MongoPool类, 继承object

1. 在`init`中, 建立数据连接, 获取要操作的集合, 在 `del` 方法中关闭数据库连接
2. 提供基础的增删改查功能
   1. 实现插入功能
   2. 实现修改该功能
   3. 实现删除代理: 根据代理的IP删除代理
   4. 查询所有代理IP的功能
3. 提供代理API模块使用的功能
   1. 实现查询功能: 根据条件进行查询, 可以指定查询数量, 先分数降序, 速度升序排, 保证优质的代理IP在上面.
   2. 实现根据协议类型 和 要访问网站的域名, 获取代理IP列表
   3. 实现根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
   4. 实现把指定域名添加到指定IP的disable_domain列表中.

  1. '''
  2. 针对proxies集合进行数据库的增删改查的操作，并提供代理api使用
  3. '''
  4. import random
  5. import pymongo
  6. import sys
  7.  
  8. sys.path.append("..")
  9. from settings import MONGO_URL
  10. from proxy_utils.log import logger
  11. from dbmodle import Proxy
  12.  
  13. class MongoPool(object):
  14.  
  15. 	def __init__(self):
  16. 		#连接数据库
  17. 		self.client = pymongo.MongoClient(MONGO_URL)
  18. 		#获取操作字典集
  19. 		self.proxies = self.client['proxy_pool']['proxies']
  20.  
  21. 	def __del__(self):
  22. 		#关闭数据库连接
  23. 		self.client.close()
  24.  
  25. 	def insert(self,proxy):
  26. 		'''
  27. 		代理ip插入方法
  28. 		'''
  29. 		count = self.proxies.count_documents({'_id':proxy.ip})
  30. 		if count == 0:
  31. 			#Proxy对象转换为字典
  32. 			proxy_dict = proxy.__dict__
  33. 			#主键
  34. 			proxy_dict['_id'] = proxy.ip
  35. 			#向proxies字典集中插入代理ip
  36. 			self.proxies.insert_one(proxy_dict)
  37. 			logger.info('插入新的代理：{}'.format(proxy))
  38. 		else:
  39. 			logger.warning('已经存在的代理{}'.format(proxy))
  40.  
  41. 	def update(self,proxy):
  42. 		'''
  43. 		修改更新数据库中代理ip
  44. 		'''
  45. 		self.proxies.update_one({'_id':proxy.ip},{'$set':proxy.__dict__})
  46. 		logger.info('更新代理ip：{}'.format(proxy))
  47.  
  48. 	def delete(self,proxy):
  49. 		'''
  50. 		删除数据库中代理ip
  51. 		'''
  52. 		self.proxies.delete_one({'_id':proxy.ip})
  53. 		logger.info('删除代理ip:{}'.format(proxy))
  54.  
  55. 	def find_all(self):
  56. 		'''
  57. 		查询数据库中所有的代理ip
  58. 		'''
  59. 		cursor = self.proxies.find()
  60.  
  61. 		for item in cursor:
  62. 			#删除_id键值对
  63. 			item.pop('_id')
  64. 			proxy = Proxy(**item)
  65. 			#生成器yield
  66. 			yield proxy
  67.  
  68. 	def limit_find(self,conditions = {},count = 0):
  69. 		'''根据条件进行查询, 
  70. 		可以指定查询数量, 先分数降序, 速度升序排, 
  71. 		保证优质的代理IP在上面'''
  72. 		cursor = self.proxies.find(conditions,limit = count).sort([
  73. 			('score',pymongo.DESCENDING),('speed',pymongo.ASCENDING)])
  74. 		#接受查询所得代理IP
  75. 		proxy_list = []
  76.  
  77. 		for item in cursor:
  78. 			itme.pop('_id')
  79. 			proxy = Proxy(**item)
  80. 			proxy_list.append(proxy)
  81. 		return proxy_list
  82.  
  83. 	def get_proxies(self,protocol =None,domain = None,nick_type =0,count = 0):
  84. 		'''
  85. 		实现根据协议类型和要访问网站的域名, 获取代理IP列表
  86. 		'''
  87. 		conditions = {'nike_type':nick_type}
  88. 		if protocol is None:
  89. 			conditions['protocol'] = 2
  90. 		elif protocol.lower() == 'http':
  91. 			conditions['protocol'] ={'$in':[0,2]}
  92. 		else:
  93. 			conditons['protocol'] ={'$in':[1,2]}
  94.  
  95. 		if domain:
  96. 			conditons['disable_domains'] = {'$nin':[domain]}
  97.  
  98. 		return self.limit_find(conditions,count = count)
  99.  
  100. 	def random_proxy(self,protocol = None,domain =None,count = 0,nick_type =0):
  101. 		'''
  102. 		根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
  103. 		'''
  104. 		proxy_list = self.get_proxies(protocol =protocol,domain = domain ,count = count ,nick_type =nick_type)
  105.  
  106. 		return random.choice(proxy_list)
  107.  
  108. 	def add_disable_domain(self,ip，domain):
  109. 		'''
  110. 		把指定域名添加到指定IP的disable_domain列表中,没有才添加
  111. 		'''
  112. 		count = self.proxies.count_documents({'_id':ip,'disable_domains':domain})
  113. 		if count == 0:
  114. 			self.proxies.update_one({'_id':ip},{'$push':{'disable_domains':domain}})
  115.  
  116.  
  117.  
  118. if __name__ == '__main__':
  119. 	mongo = MongoPool()
  120. 	#插入测试
  121. 	#proxy = Proxy('202.104.113.32','53281')
  122. 	#mongo.insert(proxy)
  123.  
  124. 	#更新测试
  125. 	#proxy = Proxy('202.104.113.32','8888')
  126. 	#mongo.update(proxy)
  127.  
  128. 	#删除测试
  129. 	#proxy = Proxy('202.104.113.32','8888')
  130. 	#mongo.delete(proxy)
  131.  
  132. 	#查询所有测试
  133. 	#for proxy in mongo.find_all():
  134. 		#print(proxy)

5.实现随机获取User-Agent 的请求头模块（random_headers.py）

  1. '''
  2. 获取随机User-Agent的请求头
  3. '''
  4. import random
  5.  
  6. #用户代理User-Agent列表
  7. USER_AGENTS = [
  8.     "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
  9.     "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
  10.     "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
  11.     "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
  12.     "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
  13.     "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
  14.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
  15.     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
  16.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
  17.     "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
  18.     "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
  19.     "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
  20.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
  21.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
  22.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
  23.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
  24.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
  25.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
  26.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
  27.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
  28.     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
  29.     "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
  30.     "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
  31.     "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
  32.     "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
  33.     "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
  34.     "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
  35.     "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
  36.     "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
  37.     "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
  38.     "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
  39.     "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
  40.     "UCWEB7.0.2.37/28/999",
  41.     "NOKIA5700/ UCWEB7.0.2.37/28/999",
  42.     "Openwave/ UCWEB7.0.2.37/28/999",
  43.     "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
  44.     # iPhone 6：
  45.     "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
  46. ]
  47.  
  48. #随机获取一个用户代理User-Agent的请求头
  49. def get_request_headers():
  50. 	headers = {
  51. 	'User-Agent':random.choice(USER_AGENTS),
  52. 	'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
  53. 	'Accept-language':'zh-CN,zh;q=0.9,en;q=0.8',
  54.     'Referer':'https://www.baidu.com',
  55. 	'Accept-Encoding':'gzip, deflate,br',
  56. 	'Connection':'keep-alive',
  57. 	}
  58. 	return headers
  59.  
  60.     
  61.  
  62. if __name__ == '__main__':
  63. 	#测试随机与否
  64. 	print(get_request_headers())
  65. 	print("------------"*20)
  66. 	print(get_request_headers())

6.实现通用爬虫，作为具体爬虫的父类（base_poxies.py）

  1. '''
  2. 通用爬虫:通过指定URL列表, 分组XPATH和组内XPATH, 来提取不同网站的代理IP
  3. 定义一个BaseSpider类, 继承object
  4.   - 提供三个类成员变量:urls, group_xpath, detail_xpath: ip, port, area
  5.   - 提供初始方法, 传入爬虫URL列表, 分组XPATH, 详情(组内)XPATH
  6.   - 对外提供一个获取代理IP的方法
  7. '''
  8.  
  9. import requests
  10. import sys
  11. import time,random
  12. from lxml import etree
  13. sys.path.append('..')
  14. from proxies_utils.random_headers import get_request_headers
  15. from dbmodle import Proxy
  16.  
  17. class BaseSpider(object):
  18. 	#类成员变量
  19. 	#代理IP网址的URL的列表
  20. 	urls =[]
  21. 	#分组XPATH, 获取包含代理IP信息标签列表的XPATH
  22. 	group_xpath = ''
  23. 	#组内XPATH, 获取代理IP详情的信息XPATH, 格式为: {'ip':'xx', 'port':'xx', 'area':'xx'}
  24. 	detail_xpath ={}
  25. 	def __init__(self,urls =[],group_xpath='',detail_xpath={}):
  26. 		#提供初始方法, 传入爬虫URL列表, 分组XPATH, 详情(组内)XPATH
  27. 		if urls:
  28. 			self.urls =urls
  29. 		if group_xpath:
  30. 			self.group_xpath =group_xpath
  31. 		if detail_xpath:
  32. 			self.detail_xpath=detail_xpath
  33.  
  34.  
  35. 	def get_proxies(self):
  36. 		#获取页面数据
  37. 		for url in self.urls:
  38. 			page_html = self.get_page(url)
  39. 			proxies =self.get_html_proxies(page_html)
  40. 			#yeild from 返回的是proxies内的数据
  41. 			yield from proxies
  42.  
  43. 	def get_page(self,url):
  44. 		#请求页面数据
  45. 		res =requests.get(url,headers = get_request_headers())
  46. 		#每次请求url休眠1秒
  47. 		time.sleep(random.uniform(1,5))
  48. 		return res.content
  49.  
  50. 	def get_html_proxies(self,page_html):
  51. 		element = etree.HTML(page_html)
  52. 		trs = element.xpath(self.group_xpath)
  53. 		for tr in trs:
  54. 			ip = self.get_list_first(tr.xpath(self.detail_xpath['ip']))
  55. 			port = self.get_list_first(tr.xpath(self.detail_xpath['port']))
  56. 			area = self.get_list_first(tr.xpath(self.detail_xpath['area']))
  57. 			proxy = Proxy(ip,port,area=area)
  58. 			yield proxy
  59.  
  60. 	def get_list_first(self,lst):
  61. 		#返回列表的第一个元素
  62. 		return lst[0] if len(lst) !=0 else ''
  63.  
  64. if __name__ == '__main__':
  65. 	config = {
  66. 	'urls':['http://www.ip3366.net/free/?stype=1&page={}'.format(i) for i in range(1,3)],
  67. 	'group_xpath':'//*[@id="list"]/table/tbody/tr',
  68. 	'detail_xpath':{
  69. 	'ip':'./td[1]/text()',
  70. 	'port':'./td[2]/text()',
  71. 	'area':'./td[5]/text()',
  72. 	}
  73. 	}
  74. 	spider = BaseSpider(**config)
  75. 	for proxy in spider.get_proxies():
  76. 		print(proxy)

7.实现具体的爬虫类(proxy_spiders.py)

  1. '''
  2. 实现具体的爬虫类
  3. '''
  4. #import time
  5. #import random
  6. import requests
  7. import sys
  8. sys.path.append('../')
  9. #import re
  10. #import js2py
  11. from proxy_spider.base_spider import BaseSpider
  12.  
  13. class XiciSpider(BaseSpider):
  14. 	'''西刺代理爬虫	'''
  15. 	urls = ['http://www.xicidaili.com/nn/{}'.format(i) for i in range(1,21)]
  16.  
  17. 	group_xpath = '//*[@id="ip_list"]//tr[position()>1]'
  18. 	detail_xpath = {
  19. 	'ip':'./td[2]/text()',
  20. 	'port':'./td[3]/text()',
  21. 	'area':'./td[4]/a/text()',
  22. 	}
  23.  
  24. class Ip3366Spider(BaseSpider):
  25. 	'''
  26. 	ip3366代理爬虫
  27. 	'''
  28.  
  29. 	urls = ['http://www.ip3366.net/free/?stype={}&page={}'.format(i,j) for i in range(1,4,2) for j in range(1,8)]
  30.  
  31. 	group_xpath = '//*[@id="list"]/table/tbody/tr'
  32. 	detail_xpath = {
  33. 	'ip':'./td[1]/text()',
  34. 	'port':'./td[2]/text()',
  35. 	'area':'./td[5]/text()',
  36. 	}
  37.  
  38.  
  39. class kuaiSpider(BaseSpider):
  40. 	'''
  41. 	快代理爬虫
  42. 	'''
  43.  
  44. 	urls = ['http://www.kuaidaili.com/free/in{}/{}'.format(i,j) for i in ['ha','tr'] for j in range(1,21)]
  45.  
  46. 	group_xpath = '//*[@id="list"]/table/tbody/tr'
  47. 	detail_xpath = {
  48. 	'ip':'./td[1]/text()',
  49. 	'port':'./td[2]/text()',
  50. 	'area':'./td[5]/a/text()',
  51. 	}
  52.  
  53. 	'''
  54. 	def get_page(self,url):
  55. 		#随机等待时间
  56. 		time.sleep(random.uniform(1,2))
  57. 		return super().get_page(url)
  58. 	'''
  59.  
  60. class Free89ipSpider(BaseSpider):
  61. 	'''
  62. 	89ip代理爬虫
  63. 	'''
  64. 	urls = ['http://www.89ip.cn/index{}.html'.format(i) for i in range(1,17)]
  65.  
  66. 	group_xpath = '//div[3]//table/tbody/tr'
  67. 	detail_xpath = {
  68. 	'ip':'./td[1]/text()',
  69. 	'port':'./td[2]/text()',
  70. 	'area':'./td[3]/text()',
  71. 	}
  72.  
  73. 	def get_page(self,url):
  74. 		return super().get_page(url).decode()
  75.  
  76. 	def get_proxies(self):
  77. 		proxies = super().get_proxies()
  78. 		for item in proxies:
  79. 			item.ip = str(item.ip).replace("\n","").replace("\t","")
  80. 			item.area = str(item.area).replace("\n","").replace("\t","")
  81. 			item.port = str(item.port).replace("\n","").replace("\t","")
  82. 			#返回Proxy对象
  83. 			yield item
  84.  
  85. if __name__ == '__main__':
  86. 	spider = Free89ipSpider()
  87. 	count= 0
  88. 	for proxy in spider.get_proxies():
  89. 		count+=1
  90. 		print(proxy)

8. 实现运行爬虫模块(run_spider.py)

  1. '''
  2. 创建RunSpider类
  3. 	run方法运行爬虫, 作为运行爬虫的入口,获取爬虫列表并运行，检测代理IP，可用,写入数据库并处理爬虫内部异常
  4. 	使用协程异步来执行每一个爬虫任务, 以提高抓取代理IP效率
  5. 	使用schedule模块, 实现每隔一定的时间, 执行一次爬取任务
  6. '''
  7.  
  8. from gevent import monkey
  9. monkey.patch_all()
  10. from gevent.pool import Pool
  11.  
  12. import importlib
  13. import sys,time
  14. import schedule
  15. sys.path.append('../')
  16. from settings import PROXIES_SPIDERS,SPIDERS_RUN_INTERVAL
  17. from proxy_validate.httpbin_validator import check_proxy
  18. from proxies_db.mongo_pool import MongoPool
  19. from proxies_utils.log import logger
  20.  
  21. class RunSpider(object):
  22.  
  23. 	def __init__(self):
  24.  
  25. 		self.mongo_pool = MongoPool()
  26. 		self.coroutine_pool = Pool()
  27.  
  28. 	def get_spider_from_settings(self):
  29. 		'''
  30. 		获取配置文件中的具体爬虫列表创建对象
  31. 		'''
  32. 		for full_class_name in PROXIES_SPIDERS:
  33. 			module_name,class_name = full_class_name.rsplit('.',maxsplit =1)
  34. 			#动态导入模块
  35. 			module = importlib.import_module(module_name)
  36.  
  37. 			cls = getattr(module,class_name)
  38. 			spider = cls()
  39. 			yield spider
  40.  
  41. 	def run(self):
  42. 		'''
  43. 		遍历爬虫对象，执行get_proxies方法
  44. 		'''
  45. 		spiders = self.get_spider_from_settings()
  46. 		for spider in spiders:
  47. 			self.coroutine_pool.apply_async(self.__run_one_spider,args=(spider,))
  48. 		#当前线程等待爬虫执行完毕
  49. 		self.coroutine_pool.join()
  50. 	
  51.  
  52. 	def __run_one_spider(self,spider):
  53. 		try:
  54. 			for proxy in spider.get_proxies():
  55. 				time.sleep(0.1)
  56. 				checked_proxy = check_proxy(proxy)
  57. 				if proxy.speed != -1:
  58. 					self.mongo_pool.insert(checked_proxy)
  59. 		except Exception as er:
  60. 			logger.exception(er)
  61. 			logger.exception("爬虫{} 出现错误".format(spider))
  62.  
  63. 	@classmethod
  64. 	def start(cls):
  65. 		'''
  66. 		类方法，依据配置文件汇总的时间间隔run爬虫，单位小时
  67. 		'''
  68. 		rs = RunSpider()
  69. 		rs.run()
  70. 		schedule.every(SPIDERS_RUN_INTERVAL).hours.do(rs.run)
  71.  
  72. 		while 1:
  73. 			schedule.run_pending()
  74. 			time.sleep(60)
  75.  
  76.  
  77.  
  78. if __name__ == '__main__':
  79. 	#类方法调用
  80. 	RunSpider.start()
  81. 	#app = RunSpider()
  82. 	#app.run()
  83.  
  84. 	#测试schedue
  85. 	'''def task():
  86. 		print("haha")
  87. 	schedule.every(10).seconds.do(task)
  88. 	while 1:
  89. 		schedule.run_pending()
  90. 		time.sleep(1)'''

9. 代理IP检查模块(proxy_test.py)

  1. '''
  2. 定期检测数据库中的代理ip的可用性,分数评级，更新数据库
  3. '''
  4. from gevent import monkey
  5. monkey.patch_all()
  6. from gevent.pool import Pool
  7. from queue import Queue
  8. import schedule
  9. import sys
  10. sys.path.append('../')
  11. from proxy_validate.httpbin_validator import check_proxy
  12. from proxies_db.mongo_pool import MongoPool
  13. from settings import TEST_PROXIES_ASYNC_COUNT,MAX_SCORE,TEST_RUN_INTERVAL
  14.  
  15.  
  16. class DbProxiesCheck(object):
  17.  
  18. 	def __init__(self):
  19. 		#创建操作数据库对象
  20. 		self.mongo_pool = MongoPool()
  21. 		#待检测ip队列
  22. 		self.queue = Queue()
  23. 		#协程池
  24. 		self.coroutine_pool = Pool()
  25.  
  26. 	#异步回调函数
  27. 	def __check_callback(self,temp):
  28. 		self.coroutine_pool.apply_async(self.__check_one,callback = self.__check_one())
  29.  
  30.  
  31. 	def run(self):
  32. 		#处理检测代理ip核心逻辑
  33. 		proxies = self.mongo_pool.find_all()
  34.  
  35. 		for proxy in proxies:
  36. 			self.queue.put(proxy)
  37.  
  38. 		#开启多异步任务
  39. 		for i in range(TEST_PROXIES_ASYNC_COUNT):
  40. 			#异步回调，死循环执行该方法
  41. 			self.coroutine_pool.apply_async(self.__check_one,callback =self.__check_one())
  42. 		#当前线程等待队列任务完成
  43. 		self.queue.join()
  44.  
  45.  
  46.  
  47. 	def __check_one(self):
  48. 		#检查一个代理ip可用性
  49. 		#从队列中获取一个proxy
  50. 		proxy = self.queue.get()
  51.  
  52. 		checked_proxy = check_proxy(proxy)
  53.  
  54. 		if checked_proxy.speed == -1:
  55. 			checked_proxy.score -= 1
  56. 			if checked_proxy.score == 0:
  57. 				self.mongo_pool.delete(checked_proxy)
  58. 			else:
  59. 				self.mongo_pool.update(checked_proxy)
  60. 		else:
  61. 			checked_proxy.score = MAX_SCORE
  62. 			self.mongo_pool.updata(checked_proxy)
  63. 		#调度队列的task_done方法(一个任务完成)
  64. 		self.queue.task_done()
  65.  
  66.  
  67. 	@classmethod
  68. 	def start(cls):
  69. 		'''
  70. 		类方法，依据配置文件的时间间隔运行检测数据库中的ip可用性，单位小时
  71. 		'''
  72. 		test = DbProxiesCheck()
  73. 		test.run()
  74. 		schedule.every(TEST_RUN_INTERVAL).hours.do(test.run)
  75.  
  76. 		while 1:
  77. 			schedule.run_pending()
  78. 			time.sleep(60)
  79.  
  80.  
  81. if __name__ == '__main__':
  82. 	DbProxiesCheck.start()
  83. 	#test = DbProxiesCheck()
  84. 	#test.run()

10. 代理IP池的API模块(proxy_api.py)

  1. '''
  2. 为爬虫提供稳定可用的代理ip的接口
  3. 	根据协议类型和域名，提供随机的稳定可用ip的服务
  4. 	根据协议类型和域名，提供获取多个高可用代理ip的服务
  5. 	给指定ip上追加不可用域名的服务
  6. '''
  7. from flask import Flask
  8. from flask import request
  9. import json
  10.  
  11. from proxies_db.mongo_pool import MongoPool
  12.  
  13. from settings import PROXIES_MAX_COUNT
  14.  
  15.  
  16. class ProxyApi(object):
  17.  
  18. 	def __init__(self):
  19.  
  20. 		self.app = Flask(__name__)
  21.  
  22. 		#操作数据库的对象
  23. 		self.mongo_pool =  MongoPool()
  24.  
  25. 		#获取接口url中参数
  26. 		@self.app.route('/random')
  27. 		def random():
  28. 			protocol = request.args.get('protocol')
  29. 			domain = request.args.get('domain')
  30. 			proxy = self.mongo_pool.random_proxy(protocal,domain,count = PROXIES_MAX_COUNT)
  31.  
  32. 			if protocol:
  33. 				return '{}://{}:{}'.format(protocol,proxy.ip,proxy.port)
  34. 			else:
  35. 				return '{}:{}'.format(proxy.ip,proxy.port)
  36.  
  37. 		@self.app.route('/proxies')
  38. 		def proxies():
  39. 			protocol = request.args.get('protocol')
  40. 			domain = request.args.get('domain')
  41. 			proxies =self.mongo_pool.get_proxies(protocol,domain,count =PROXIES_MAX_COUNT)
  42. 			#proxies是proxy对象构成的列表，需要转换为字典的列表
  43.  
  44. 			proxies_dict_list =[proxy.__dict__ for proxy in proxies]
  45. 			return json.dumps(proxies_dict_list)
  46. 		
  47. 		@self.app.route('/disabldomain')
  48. 		def disable_domain():
  49. 			ip = request.args.get('ip')
  50. 			domain = request.args.get('domain')
  51.  
  52. 			if ip is None:
  53. 				return '请提供ip参数'
  54. 			if domain is None:
  55. 				return '请提供域名domain参数'
  56. 			self.mongo_pool.add_disable_domain(ip,domain)
  57. 			return '{} 禁用域名 {} 成功'.format(ip,domain)
  58.  
  59. 	def run(self,debug):
  60. 		self.app.run('0.0.0.0',port = 16888,debug = debug)
  61.  
  62. 	@classmethod
  63. 	def start(cls,debug = None):
  64. 		proxy_api = cls()
  65. 		proxy_api.run(debug = debug)
  66.  
  67. if __name__ == '__main__':
  68. 	ProxyApi.start(debug = True)
  69. 	#proxy_api = ProxyApi()
  70. 	#proxy_api.run(debug = True)

11. 代理池启动入口(main.py)

  1. '''
  2. 代理池统一入口：
  3.    开启多个进程，分别启动，爬虫，检测代理ip，WEB服务
  4. '''
  5.  
  6. from multiprocessing import Process
  7. from proxy_spider.run_spider import RunSpider
  8. from proxy_test import DbProxiesCheck
  9. from proxy_api import ProxyApi
  10.  
  11. def run():
  12. 	process_list = []
  13. 	#启动爬虫
  14. 	process_list.append(Process(target = RunSpider.start))
  15. 	#启动检测
  16. 	process_list.append(Process(target = DbProxiesCheck.start))
  17. 	#启动web服务
  18. 	process_list.append(Process(target = ProxyApi.start))
  19.  
  20. 	for process in process_list:
  21. 		#设置守护进程
  22. 		process.daemon = True
  23. 		process.start()
  24. 	#主进程等待子进程的完成
  25. 	for process in process_list:
  26. 		process.join()
  27.  
  28.  
  29. if __name__ == '__main__':
  30. 	run()

12 .配置文件模块（settings.py）

  1. #默代理IP的默认最高分数
  2. MAX_SCORE =50
  3.  
  4. import logging
  5.  
  6. #日志模块默认配置：
  7. # 默认等级
  8. LOG_LEVEL = logging.DEBUG
  9. #默认日志格式
  10. LOG_FMT = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'
  11. # 默认时间格式
  12. LOG_DATEFMT = '%Y-%m-%d %H:%M:%S'
  13. # 默认日志文件名称
  14. LOG_FILENAME = 'log.log'
  15.  
  16. #请求超时参数
  17. CHECK_TIMEOUT = 10
  18.  
  19. #mongodb的URL配置
  20. MONGO_URL = 'mongodb://127.0.0.1:27017/'
  21.  
  22. #具体爬虫的配置列表
  23. PROXIES_SPIDERS = [
  24. "proxy_spider.proxy_spiders.XiciSpider",
  25. "proxy_spider.proxy_spiders.Ip3366Spider",
  26. "proxy_spider.proxy_spiders.kuaiSpider",
  27. "proxy_spider.proxy_spiders.Free89ipSpider",
  28. ]
  29.  
  30. #爬虫间隔自动运行时间
  31. SPIDERS_RUN_INTERVAL = 4
  32.  
  33. #配置检测代理ip的异步数量
  34. TEST_PROXIES_ASYNC_COUNT = 10
  35.  
  36. #db中ip间隔自动运行时间
  37. TEST_RUN_INTERVAL = 2
  38.  
  39. #随机获取代理ip的最大数量
  40. PROXIES_MAX_COUNT = 50

完整源码请前往我的github仓库查看：https://github.com/R2h1/ProxyPool 欢迎star哦！！！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/209233
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号