devbox
秋刀鱼在做梦
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【爬虫实战】利用代理爬取Temu电商数据

作者：秋刀鱼在做梦 | 2024-08-19 18:16:24

赞

踩

【爬虫实战】利用代理爬取Temu电商数据

引言

        在行业竞争激烈、市场变化快速的跨境电商领域，数据采集可以帮助企业深入了解客户需求和行为，分析市场趋势和竞争情况，从而优化产品和服务，提高客户满意度和忠诚度。同时，数据采集可以实时跟踪库存水平和销售情况，帮助企业管理库存，减少库存成本和浪费，优化供应链，提高物流和配送效率。因此，数据采集对于跨境电商而言是至关重要的，可以帮助企业提高效率和盈利能力，获得竞争优势。

        但现实中，数据采集可能会遇到多样化的数据来源、不统一的数据格式、庞大的数据量、数据质量和安全隐私问题等困难和挑战。为了应对这些挑战，可以采用旋转代理或IP池避免频繁请求同一IP地址、模拟用户行为（如随机请求间隔和动态内容处理），设置请求头使请求看起来更像真实浏览器、随机化请求参数、延时和限速策略、动态IP切换、模拟AJAX请求等方式。但这些方式都必须避免网站检测到请求来自同一台设备，这时就需要使用代理工具。

数据采集实战

        这里我们尝试采集Temu电商网站数据。Temu是一个电商平台，它成立于2019年。Temu主要针对年轻消费者，提供各种时尚、潮流、品质优良的消费品，包括服饰、鞋类、家居用品、个护产品、运动健康用品等。Temu的特色之一是价格实惠，致力于为消费者提供高性价比的商品。由于Temu网站主要做跨境电商业务，所以网站有很多验证机制，大陆IP很容易连接不上网站。同时，网站也具有多纬度的爬虫检测机制。避免这些困难的一大方法就是使用代理服务。

 云端配置

市面上能够解锁网络验证机制的代理工具很多，今天我们选用Proxy302这家代理服务。首先进入控制台页面，点击“动态IP”，然后选择“通用代理生成”，即可生成一条代理。如果需要指定某个区域IP的话，也可以通过地区代理生成实现。

        生成完毕后在“已购代理”中即可找到代理。其中代理地址、端口、用户名、密码均在第一格显示，最后一格中可以开关代理，到这里我们就可以开始使用代理。

远程PC

        有些同学可能希望有一个更为直观的可视化使用环境，可以配置一台远程电脑实现。使用方法也很简单，首先要先配置一下连接工具。点击“连接工具”，选择想要的远程PC区域和配置即可创建。创建好之后在下方可以找到远程PC的用户名和密码。

      

  之后点击“远程控制”，即可在网页端控制远程PC并连接到代理。

        输入用户名和密码即可连接上。

        等待2-3分钟，就可以加载到系统中。可以看到它就是一台云电脑，可以按照自己喜欢的方式来操作和访问代理服务器。

数据采集

        在采集数据之前，我们先观察一下网页结构。使用开发者工具可以看到，商品名和价格位于一个div下的两个不同div之中。通过aria-label属性可以轻松定位到两个数据。

        基于以上分析，我们可以编写一个Python爬虫来抓取这几处的商品信息。首先我们需要编辑请求头，使得网站认为我们是一个用户而非程序。

  1. headers = {
  2.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}

        之后按照我们在网页中配置的数据配置代理。按照url形式填入我们的代理地址、端口、用户名、密码，并将其放置在一个字典中。

  1. host = 'proxy.proxy302.com:2222' 
  2. user_name = 'maNwkWj2S'
  3. password = 'tIegn05sPzyLdl0m' 
  4. proxy_url = f'http://{user_name}:{password}@{host}' 
  5. proxies = {
  6. 'http': proxy_url}

之后我们使用requests包通过配置好的代理发送请求，并获得网页。

  1. response = requests.get(url, headers=headers, proxies=proxies)
  2. html_str = response.text
  3. return html_str

        再之后我们就可以按照分析抓取商品信息。这里们选用xpath的方式，按照层级选中目标，之后保存在一个字典中。

  1. html_data = etree.HTML(html_str)
  2.     li_list = html_data.xpath('//div[@dd_name="普通商品区域"]/ul/li')
  3.     for li in li_list:
  4.         title = li.xpath('.//a[@class="pic"]/@title')
  5.         title = ''.join(title)
  6.         goods_url = 'https:' + li.xpath('.//a[@class="pic"]/@href')[0]
  7.         price = li.xpath('.//p[@class="price"]/span[@class="price_n"]/text()')[0]
  8.         print(price)
  9.         pre_price = li.xpath('.//p[@class="price"]/span[@class="price_r"]/text()')[0]
  10.         img_url = 'https:' + li.xpath('.//a[@class="pic"]/img/@src')[0]
  11.         print({'页码': page, '标题': title, '价格': price, '定价': pre_price, '商品链接': goods_url,
  12.                '图片链接': img_url})
  13.         data_list.append(
  14.             {'页码': page, '标题': title, '价格': price, '定价': pre_price, '商品链接': goods_url,
  15.              '图片链接': img_url})

最后，我们将获取到的数据写入到本地文件中。

  1. df = pd.DataFrame(data_list)
  2. df.drop_duplicates()
  3. df.to_excel('电商采集数据集.xlsx')

最后通过主函数，将网址和查询关键词发送到函数中，之后让我们运行一下。

可以看到程序正常运行。打开生成的文件可以看到最终的结果。

完整代码如下：

  1. import pandas as pd  # pandas，用于写入Excel文件
  2. import requests  # python基础爬虫库
  3. from lxml import etree  # 可以将网页转换为Elements对象
  4. import time  # 防止爬取过快可以睡眠一秒
  5.  
  6. host = 'proxy.proxy302.com:2222' 
  7. user_name = 'maNwkWj2S' 
  8. password = 'tIegn05sPzyLdl0m' 
  9.  
  10. proxy_url = f'http://{user_name}:{password}@{host}' 
  11. proxies = {
  12.     'http': proxy_url,}
  13.  
  14. def get_html_str(url):
  15.     headers = {
  16.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',
  17.         'cookie': 'dest_area=country_id%3D9000%26province_id%3D111%26city_id%3D0%26district_id%3D0%26town_id%3D0; __permanent_id=20240526224738315295956158315909549; ddscreen=2; __dd_token_id=202104062202466363669562232a8cdf; search_passback=51a9db4eecb3b24ff6ab7766fc010000fbbbca00dcab7766; pos_6_start=1716734858859; pos_6_end=1716734858807; deal_token=1576b51797067261d98918f7285bd6495f87d87938a72c8849da21f5acf064403857abf3742ed1c739; login_dang_code=202103291113455962963369449d079d; bind_custid=106901607; __visit_id=20240623125745069259408506015858558; __out_refer=1719118665%7C!%7Cwww.baidu.com%7C!%7C; __trace_id=20240623125804232373763612518646769; __rpm=s_112100...1719118830586%7Clogin_page...1719118833969; sessionID=pc_4012ba7c7eaa04527a44c2379c16b0c6164ad4d2625cd18cfe1c7acbf03f1be0; USERNUM=8Y+5nq8RumeCtfoBrVftkA==; login.dangdang.com=.ASPXAUTH=qFvA8gjuJvlbZfleoWsswUEz1frglA5/; dangdang.com=email=bWF3ZW5jYWkxOTk0QDE2My5jb20=&nickname=&display_id=9562776931392&customerid=kVr1TGEUb6ByKz6allcKDQ==&viptype=04VLqcFOuaQ=&show_name=156****4818; ddoy=email=mawencai1994@163.com&nickname=&validatedflag=2&uname=mawencai1994%40163.com&utype=0&.ALFG=off&.ALTM=1719118838363; LOGIN_TIME=1719118839620'
  18.     }
  19.  
  20.  
  21.     response = requests.get(url, headers=headers, proxies=proxies)
  22.     html_str = response.text
  23.     return html_str
  24.  
  25. def get_data(html_str, page, data_list):
  26.     html_data = etree.HTML(html_str)
  27.     li_list = html_data.xpath('//div[@dd_name="普通商品区域"]/ul/li')
  28.     for li in li_list:
  29.         title = li.xpath('.//a[@class="pic"]/@title')
  30.         title = ''.join(title)
  31.         goods_url = 'https:' + li.xpath('.//a[@class="pic"]/@href')[0]
  32.         price = li.xpath('.//p[@class="price"]/span[@class="price_n"]/text()')[0]
  33.         print(price)
  34.         pre_price = li.xpath('.//p[@class="price"]/span[@class="price_r"]/text()')[0]
  35.         img_url = 'https:' + li.xpath('.//a[@class="pic"]/img/@src')[0]
  36.  
  37.         print({'页码': page, '标题': title, '价格': price, '定价': pre_price, '商品链接': goods_url,
  38.                '图片链接': img_url})
  39.         data_list.append(
  40.             {'页码': page, '标题': title, '价格': price, '定价': pre_price, '商品链接': goods_url,
  41.              '图片链接': img_url})
  42.  
  43.  
  44. def to_excel(data_list):
  45.     df = pd.DataFrame(data_list)
  46.     df.drop_duplicates()
  47.     df.to_excel('电商采集数据集.xlsx')
  48. def main():
  49.     print('开始作业')
  50.     keyword = '手机'
  51.     page_num = 1
  52.     data_list = []
  53.     for page in range(1, page_num + 1):
  54.         url = f'https://www.temu.com/search_result.html?search_key={keyword}&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&refer_page_name=home&refer_page_id=10005_1722768505220_nkdyrd23tn&refer_page_sn=10005&_x_sessn_id=iq9v42rvzn'
  55.         html_str = get_html_str(url)
  56.         get_data(html_str, page, data_list)
  57.         time.sleep(1)
  58.     to_excel(data_list)
  59.  
  60.  
  61. if __name__ == '__main__':
  62.     main()
  63.     print('抓取成功！')

AI助手

        对于编程困难的同学，可以尝试使用Proxy302家的AI集成平台302.AI。它集合了市面上主流的AI工具，采用量贩化结算方式，在一个平台中自定义满足所有需求。注册登录之后，在控制面板左侧即可根据需求定制AI工具，之后即可按照实际流量计费使用，非常的方便快捷！由于都是Proxy302家的产品，所以余额也是共享的。通过它也可以辅助我们生成爬虫代码，快速获取数据。

总结

        通过上面的实战，我们可以看到代理服务可以大大提高爬虫的匿名性和效率。Proxy302的代理可以满足这两点需求。

        Proxy302提供动态IP和静态住宅IP两种代理。动态IP具备智能切换功能，可以自动更换代理IP，模拟真实用户行为，进一步降低被检测到的风险。同时根据业务需求，静态IP能够提供高稳定性和快速响应速度，确保数据采集的连续性和效率，不会因代理不稳定而中断。这些IP都具有高级别的匿名性，确保用户的真实IP地址不被暴露，保护隐私并避免被网站封禁，同时用户可以根据需求选择特定地区的代理IP，以适应区域特殊需求。

        这些优势使得Proxy302能够为电商平台爬虫的实现提供了强有力的支持。

        无论是匿名性、安全性还是效率，Proxy302都提供了丰富的功能和优质的用户体验，是企业和个人在数据采集领域的理想选择。数据采集对工具的需求十分苛刻，Proxy302的功能其实远不止这些，欢迎各位私信博主，跟我一起继续探讨。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/1003303
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号