devbox
不正经
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python爬虫——怎么搭建和维护一个本地IP池

作者：不正经 | 2024-02-09 12:03:45

赞

踩

ip池

目录

背景

一、什么是本地代理IP池

二、代理IP池功能架构图

三、各个组件功能说明及示例代码

1. IP池管理器

2. 代理IP获取器

3. IP质量检测器

4、数据存储器

5、API接口层

6、应用程序

总结

背景

在我们进行爬虫工作时，经常需要使用代理IP。大多数代理IP服务商为了保障服务器的持久稳定性，提供的代理IP往往都有最小提取间隔限制，虽然很合理，但有些特殊要求需要0间隔提取代理IP的业务就无法使用，那么建立本地IP池，可以很好的实现0间隔提取代理IP。

 

一、什么是本地代理IP池

代理IP池是一种由多个代理IP构成的集合，可以通过接口等方式随时获取可用的代理IP。通俗地打个比方，它就是一个池子，里面装了很多代理ip。代理IP具有以下几个特征：

      1、池子里的ip是有生存周期的，它们将被定期验证，其中失效的将被剔除。

      2、池子里的ip是有补充渠道的，不断会有新的代理ip加入其中。

      3、池子中的代理ip是可以被随机取出来使用的。

这样，代理池中始终有多个不断更换的、有效的代理ip，且我们可以无间隔随机从池子中取出代理ip，然后让爬虫程序使用代理ip访问目标网站，解决在爬虫或其他应用中遇到的封禁、限制等问题。

二、代理IP池功能架构图

自建代理IP池的功能架构图包括以下组件：

  1. IP池管理器：用于管理IP池，包括IP地址的添加、删除、查询和更新等操作。

  2. 代理IP获取器：用于从外部资源中获取代理IP，例如从公开代理IP网站上爬取代理IP、从代理服务商订购代理IP等。

  3. IP质量检测器：用于检测代理IP的质量，包括代理IP的连接速度、稳定性、匿名性等特征。

  4. 数据存储器：用于存储IP池和代理IP的数据，例如使用MySQL等关系型数据库、Redis等非关系型数据库等。

  5. API接口层：用于接收来自应用程序的请求，调用IP池管理器、代理IP获取器、IP质量检测器和数据存储器等组件进行处理，并返回相应的数据结果。

  6. 应用程序：用于调用API接口层，实现代理IP的使用、监控和管理等功能。

 

三、各个组件功能说明及示例代码

1. IP池管理器

IP池管理器的作用是管理IP池，它可以实现以下功能：

- 添加新的IP地址到IP池中；
- 删除不需要的IP地址；
- 查询IP池中的可用IP地址；
- 更新IP池中的IP地址信息。

这里以Python语言举例，实现一个简单的IP池管理器：

  1. class IPPoolManager:
  2.     def __init__(self, db):
  3.         self.db = db  # 数据库连接
  4.  
  5.     def add_ip(self, ip, port, protocol='http', source='', status='new'):
  6.         ''' 添加新的IP地址到IP池 '''
  7.         cursor = self.db.cursor()
  8.         sql = "INSERT INTO ip_pool(ip, port, protocol, source, status) VALUES(%s, %s, %s, %s, %s)"
  9.         data = (ip, port, protocol, source, status)
  10.         cursor.execute(sql, data)
  11.         self.db.commit()
  12.         return cursor.lastrowid  # 返回添加记录的ID
  13.  
  14.     def delete_ip(self, ip_id):
  15.         ''' 从IP池中删除不需要的IP地址 '''
  16.         cursor = self.db.cursor()
  17.         sql = "DELETE FROM ip_pool WHERE id=%s"
  18.         cursor.execute(sql, (ip_id,))
  19.         self.db.commit()
  20.  
  21.     def get_ip(self, status='new'):
  22.         ''' 查询IP池中的可用IP地址 '''
  23.         cursor = self.db.cursor()
  24.         sql = "SELECT * FROM ip_pool WHERE status=%s ORDER BY id DESC LIMIT 1"
  25.         cursor.execute(sql, (status,))
  26.         result = cursor.fetchone()
  27.         return result
  28.  
  29.     def update_status(self, ip_id, status):
  30.         ''' 更新IP池中的IP地址信息 '''
  31.         cursor = self.db.cursor()
  32.         sql = "UPDATE ip_pool SET status=%s WHERE id=%s"
  33.         cursor.execute(sql, (status, ip_id))
  34.         self.db.commit()

2. 代理IP获取器

 负责定时（最小提取间隔）从代理IP服务商那里调用API接口获取代理IP。当然也可以爬取免费代理IP，但为了提高工作效率，建议购买优质代理IP，这里使用了站大爷代理IP（https://www.zdaye.com）。注册后可以免费试用所有的套餐2小时，生成API接口后，就可以提取到代理IP。

这里以站大爷代理IP接口为例，实现一个简单的代理IP获取器（需要使用requests库）：

  1. import requests
  2.  
  3. def get_ip():
  4.     url = "https://www.zdaye.com" //在后台的实例管理里面可以直接生成api接口，选择JSON格式
  5.     res = requests.get(url)
  6.     # print(res.text)
  7.     for i in json.loads(res.text)["data"]:
  8.         print(i, type(i))
  9.         ip = {
  10.             "http": str(i["ip"]) + ":" + str(i["port"]),
  11.             "https": str(i["ip"]) + ":" + str(i["port"])
  12.         } 
  13.         return ip

注意：我们拿到的代理是 {"ip":"117.57.91.154","port":40021} 这种样子的；

爬虫使用的代理要装成：{'http': '163.125.104.6:40011', 'https': '163.125.104.6:40011'}这种样子。

3. IP质量检测器

IP质量检测器的作用是检测代理IP的质量，包括代理IP的连接速度、稳定性、匿名性等特征。这里以验证代理IP的可用性为例，实现一个简单的IP质量检测器。

  1. import requests
  2.  
  3. class IPChecker:
  4.     def __init__(self):
  5.         self.timeout = 5  # 设置超时时间
  6.         self.headers = {
  7.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}
  8.  
  9.     def check_ip(self, ip, port):
  10.         ''' 验证代理IP的可用性 '''
  11.         proxies = {'http': 'http://%s:%s' % (ip, port), 'https': 'https://%s:%s' % (ip, port)}
  12.         try:
  13.             response = requests.get('http://www.baidu.com', headers=self.headers, proxies=proxies, timeout=self.timeout)
  14.             if response.status_code == 200:
  15.                 return True
  16.             else:
  17.                 return False
  18.         except:
  19.             return False

上面的代码使用requests库发送HTTP请求，通过设置proxies参数和timeout参数来验证代理IP是否可用，如果能正常访问百度网站，则验证通过返回True，否则返回False。

4、数据存储器

数据存储器的作用是存储IP池和代理IP的数据，例如使用MySQL等关系型数据库、Redis等非关系型数据库等。这里以MySQL为例，实现一个简单的数据存储器。

  1. import pymysql
  2.  
  3. class MySQLDataStorage:
  4.     def __init__(self, host, port, user, password, database):
  5.         self.host = host
  6.         self.port = port
  7.         self.user = user
  8.         self.password = password
  9.         self.database = database
  10.  
  11.     def connect(self):
  12.         ''' 连接数据库 '''
  13.         self.db = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password, database=self.database)
  14.  
  15.     def disconnect(self):
  16.         ''' 断开数据库连接 '''
  17.         self.db.close()
  18.  
  19.     def create_table(self):
  20.         ''' 创建IP池表 '''
  21.         cursor = self.db.cursor()
  22.         sql = '''
  23.         CREATE TABLE IF NOT EXISTS ip_pool (
  24.             id INT(11) NOT NULL AUTO_INCREMENT,
  25.             ip VARCHAR(50) NOT NULL,
  26.             port VARCHAR(10) NOT NULL,
  27.             protocol VARCHAR(10) NOT NULL,
  28.             source VARCHAR(50) NOT NULL,
  29.             status VARCHAR(10) NOT NULL,
  30.             created_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
  31.             PRIMARY KEY (id)
  32.         ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
  33.         '''
  34.         cursor.execute(sql)
  35.         self.db.commit()
  36.  
  37.     def insert(self, ip, port, protocol, source, status):
  38.         ''' 添加新的IP地址到IP池 '''
  39.         cursor = self.db.cursor()
  40.         sql = "INSERT INTO ip_pool(ip, port, protocol, source, status) VALUES(%s, %s, %s, %s, %s)"
  41.         data = (ip, port, protocol, source, status)
  42.         cursor.execute(sql, data)
  43.         self.db.commit()
  44.         return cursor.lastrowid  # 返回添加记录的ID
  45.  
  46.     def delete(self, ip_id):
  47.         ''' 从IP池中删除不需要的IP地址 '''
  48.         cursor = self.db.cursor()
  49.         sql = "DELETE FROM ip_pool WHERE id=%s"
  50.         cursor.execute(sql, (ip_id,))
  51.         self.db.commit()
  52.  
  53.     def select(self, status='new'):
  54.         ''' 查询IP池中的可用IP地址 '''
  55.         cursor = self.db.cursor()
  56.         sql = "SELECT * FROM ip_pool WHERE status=%s ORDER BY id DESC LIMIT 1"
  57.         cursor.execute(sql, (status,))
  58.         result = cursor.fetchone()
  59.         return result
  60.  
  61.     def update(self, ip_id, status):
  62.         ''' 更新IP池中的IP地址信息 '''
  63.         cursor = self.db.cursor()
  64.         sql = "UPDATE ip_pool SET status=%s WHERE id=%s"
  65.         cursor.execute(sql, (status, ip_id))
  66.         self.db.commit()

上面的代码封装了MySQL的连接、断开连接、创建表、增删改查等操作，可以通过调用接口实现IP池数据库的交互。注意，这里使用了execute()函数的带参数方式来防止SQL注入攻击。

5、API接口层

API接口层的作用是提供API接口，让其他程序可以与IP池系统进行交互，例如查询可用代理IP、获取新的代理IP等。这里以Python Flask框架为例，实现一个简单的API接口层。```

  1. from flask import Flask, jsonify
  2. from ip_pool_manager import IPPoolManager
  3.  
  4. app = Flask(__name__)
  5. manager = IPPoolManager()  # 初始化IP池管理器
  6.  
  7. @app.route('/')
  8. def hello_world():
  9.     return 'Hello, World!'
  10.  
  11. @app.route('/get')
  12. def get_proxy():
  13.     ''' 查询可用代理IP '''
  14.     result = manager.get_ip()
  15.     if result:
  16.         ip = result['ip']
  17.         port = result['port']
  18.         protocol = result['protocol']
  19.         manager.update_status(result['id'], 'using')  # 更新IP状态为使用中
  20.         return jsonify({'ip': ip, 'port': port, 'protocol': protocol})
  21.     else:
  22.         # 如果没有可用IP，则返回空
  23.         return ''
  24.  
  25. @app.route('/add/<ip>/<port>')
  26. def add_proxy(ip, port):
  27.     ''' 添加新的代理IP '''
  28.     manager.add_ip(ip, port)
  29.     return 'ok'
  30.  
  31. @app.route('/delete/<int:id>')
  32. def delete_proxy(id):
  33.     ''' 删除不需要的代理IP '''
  34.     manager.delete_ip(id)
  35.     return 'ok'
  36.  
  37. if __name__ == '__main__':
  38.     app.run()

上面的代码使用了Flask框架实现了三个接口：

- /get：查询可用代理IP；
- /add：添加新的代理IP；
- /delete：删除不需要的代理IP。

其中，get_proxy()函数从IP池管理器中获取可用代理IP，并更新IP状态为使用中，返回JSON格式的数据；add_proxy()函数向IP池管理器中添加新的代理IP；delete_proxy()函数从IP池管理器中删除不需要的代理IP。启动Flask应用程序后，其他程序可以通过HTTP请求调用这些接口与IP池系统进行交互。

6、应用程序

以下是一个简单的应用程序示例。它使用IP池系统提供的可用代理IP，并使用requests库实现了一个简单的爬虫示例。

  1. import requests
  2. from bs4 import BeautifulSoup
  3. from ip_checker import IPChecker
  4. from ip_pool_manager import IPPoolManager
  5. import time
  6.  
  7. def main():
  8.     checker = IPChecker()
  9.     manager = IPPoolManager()
  10.  
  11.     while True:
  12.         ip_info = manager.get_ip()  # 获取可用代理IP
  13.         if ip_info:
  14.             ip = ip_info.get('ip')
  15.             port = ip_info.get('port')
  16.             protocol = ip_info.get('protocol')
  17.             if checker.check_ip(ip, port):
  18.                 print(f'使用代理IP {ip}:{port} 获取数据')
  19.                 proxies = {'http': f'{protocol}://{ip}:{port}', 'https': f'{protocol}://{ip}:{port}'}
  20.                 response = requests.get('http://www.baidu.com', proxies=proxies)
  21.                 # 这里可以根据需要解析返回的数据
  22.                 soup = BeautifulSoup(response.text, 'html.parser')
  23.                 print(soup.title.string)
  24.                 time.sleep(5)  # 延迟5秒后继续获取
  25.             else:
  26.                 # 如果代理IP不可用，则将其状态设置为失效
  27.                 manager.update_status(ip_info['id'], 'invalid')
  28.         else:
  29.             # 如果没有可用代理IP，则等待一段时间后再尝试获取
  30.             time.sleep(60)
  31.  
  32. if __name__ == '__main__':
  33.     main()

以上代码的主函数中使用IP池系统提供的可用代理IP，使用requests库发送HTTP请求，获取返回的数据。如果返回的数据解析成功，控制台输出网站的标题，然后等待5秒后继续获取。如果代理IP不可用或者IP池中没有可用的IP，程序会等待一段时间后再尝试获取。

总结

有了本地IP池，可以更加方便的管理和使用代理IP，不仅可以0间隔提取代理IP，还能提高爬虫的工作效率。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/71809?site
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号