devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python爬虫方法三部曲之二-实战训练_爬虫训练

作者：羊村懒王 | 2024-04-25 15:19:42

赞

踩

爬虫训练

        前面学习的爬虫的方法，马上利用到实战中，抓取某网站的信息。使用bs、request的方法进行数据的抓取。主要分享一些实战的经验和总结，此文章抓取数据用于分享。（注意不要乱爬取数据用于商业用途谋私，遵纪守法向来是我们应当守则义务。）

一、首先request的方法和BeautifulSoup的方法架构必须熟悉，方法也懂基本的使用。

二、代码的架构是先定义一个函数，在函数里面传送抓取的网站的url，使用requests方法抓取到网站内部的信息，获取网站的源码。如果感兴趣的同学可以打印去html的参数，看看源码的架构和数据。

三、使用bs中select方法抓取网站源码节点的数据、bs中Select的方法要熟悉。

四、用遍历的for循环抓取每个节点的标签，比如p、a、span的标签属性下面的数值。

（如果有人知道的话，可以告诉我为什么<span class="new_lable1">****</span> ==$0 ，****的值抓不出来，试了正则和bs方法都不行。我果断放弃了。）

注意：抓取的源码可能会时时变化，使用select的方法抓取源码数据时，记得打印出来查看是否含有数据，如果没有，则需要调整代码架构。有几次前一天可以抓取到数据源码，但是隔一天就不行了。

五、增加分隔符和文字，将整个代码结果展现好一些。（后期有时间和精力在将数据存入数据库或者使用panda、scipy来做表格。）

谢谢关注。

参考文献：Python网络爬虫入门篇 - z寒江雪 - 博客园


案例展示：

  1. import requests
  2. import urllib.request
  3. from bs4 import BeautifulSoup
  4.  
  5. def get_html(url):
  6.     headers = {
  7.         'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac OS X 10_11_4)\
  8.         AppleWebKit/537.36(KHTML, like Gecko) Chrome/52 .0.2743. 116 Safari/537.36'
  9.  
  10.     }  # 模拟浏览器访问
  11.     response = requests.get(url, headers=headers)  # 请求访问网站
  12.     html = response.text  # 获取网页源码
  13.     return html  # 返回网页源码
  14.  
  15. get_html('http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input')
  16. soup = BeautifulSoup(get_html('http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input'), 'lxml')  # 初始化BeautifulSoup库,并设置解析器
  17. text = soup.select('#search_nature_rg > ul.bigimg > li > a ')#只定为到末级，中间不算。
  18. content3 = soup.select('#search_nature_rg > ul > li > div.lable_label > span.new_lable ')#定义自营门店,由于span标签特殊。抓取不到span标签的特殊值。
  19. content = soup.select('#search_nature_rg > ul.bigimg > li > a > img')#定义图片路径
  20. content2 = soup.select('#search_nature_rg > ul.bigimg > li > p.search_star_line > a')#店铺商品评论数
  21. content4 = soup.select('#search_nature_rg > ul > li > p.search_shangjia > a')#店铺名字
  22. price_number1 = soup.select('#search_nature_rg > ul > li.line1 > p.price > span')#图书价格
  23. price_number2 = soup.select('#search_nature_rg > ul > li.line2 >div.ebook_buy>p>span')#图书价格
  24. price_number3 = soup.select('#search_nature_rg > ul > li.line3 >p.price>span')#图书价格，只有销售价格
  25. price_number4 = soup.select('#search_nature_rg > ul > li.line4 > p.price > span')#图书价格
  26. price_number5 = soup.select('#search_nature_rg > ul > li.line5 > p.price > span')#图书价格
  27. price_number6 = soup.select('#search_nature_rg > ul > li.line6 > p.price > span')#图书价格
  28. price_number7 = soup.select('#search_nature_rg > ul > li.line7 > p.price > span')#图书价格
  29. price_number8 = soup.select('#search_nature_rg > ul > li.line8 > p.price > span')#图书价格
  30. price_number9 = soup.select('#search_nature_rg > ul > li.line9 > p.price > span')#图书价格
  31. price_number10 = soup.select('#search_nature_rg > ul > li.line10 > p.price > span')#图书价格
  32.  
  33.  
  34.  
  35.  
  36. print("抓取商铺的详情页和标题：")
  37. for n in text:
  38.     link = n.get('href')
  39.     title = n.get('title')
  40.     print("图书详情页和标题:",link,title)
  41.  
  42.  
  43. print("抓取图片的地址：")
  44. for n in content:
  45.     pic = n.get('src')
  46.     tag = n.text#抓取标签<a>
  47.     print("图片地址:",pic)
  48.  
  49. print("抓取商品评论数：")
  50. for n in content2:
  51.     tag=n.text
  52.     if tag == 0:
  53.         print("此商店无评论人")
  54.     else:
  55.         print("评论数：", tag)
  56.  
  57. print("店铺种类：")
  58. for n in content3:
  59.     name=n.text
  60.     print (name)
  61.     if name == 1:
  62.         print("自营店面")#自营店的值抓不到。所以一直呈现私营店面
  63.     else:
  64.         for i in content4:
  65.             name = i.text
  66.             print("私营图书：",name)
  67.  
  68. print("店铺销售价格及折扣：")
  69. a=[]
  70. for n in price_number1:
  71.     span=n.text
  72.     a.append(span)
  73. print("第1家店铺销售情况：")
  74. print("销售价格：",a[0])
  75. print("原来价格：",a[1])
  76. print("打折比例：",a[2])
  77.  
  78. b=[]
  79. for n in price_number2:
  80.     span=n.text
  81.     b.append(span)
  82. print("第2家店铺销售情况：")
  83. print("销售价格：",b[0])
  84. # print("原来价格：",b[1])
  85. # print("打折比例：",b[2])
  86.  
  87. c=[]
  88. for n in price_number3:
  89.     span=n.text
  90.     c.append(span)
  91. print("第3家店铺销售情况：")
  92. print("销售价格：",c[0])
  93. print("原来价格：",c[1])
  94. # print("打折比例：",c[2])
  95.  
  96. d=[]
  97. for n in price_number4:
  98.     span=n.text
  99.     d.append(span)
  100. print("第4家店铺销售情况：")
  101. print("销售价格：",d[0])
  102. print("原来价格：",d[1])
  103. print("打折比例：",d[2])
  104.  
  105. e=[]
  106. for n in price_number5:
  107.     span=n.text
  108.     e.append(span)
  109. print("第5家店铺销售情况：")
  110. print("销售价格：",e[0])
  111. print("原来价格：",e[1])
  112. print("打折比例：",e[2])
  113.  
  114. f=[]
  115. for n in price_number6:
  116.     span=n.text
  117.     f.append(span)
  118. print("第6家店铺销售情况：")
  119. print("销售价格：",f[0])
  120. print("原来价格：",f[1])
  121. print("打折比例：",f[2])
  122.  
  123. g=[]
  124. for n in price_number7:
  125.     span=n.text
  126.     g.append(span)
  127. print("第7家店铺销售情况：")
  128. print("销售价格：",g[0])
  129. print("原来价格：",g[1])
  130. print("打折比例：",g[2])
  131.  
  132. h=[]
  133. for n in price_number8:
  134.     span=n.text
  135.     h.append(span)
  136. print("第8家店铺销售情况：")
  137. print("销售价格：",h[0])
  138. print("原来价格：",h[1])
  139. print("打折比例：",h[2])
  140.  
  141. i=[]
  142. for n in price_number9:
  143.     span=n.text
  144.     i.append(span)
  145. print("第9家店铺销售情况：")
  146. print("销售价格：",i[0])
  147. print("原来价格：",i[1])
  148. print("打折比例：",i[2])
  149.  
  150. j=[]
  151. for n in price_number10:
  152.     span=n.text
  153.     j.append(span)
  154. print("第10家店铺销售情况：")
  155. print("销售价格：",j[0])
  156. print("原来价格：",j[1])
  157. print("打折比例：",j[2])

结果展示： 

  1. C:\Users\Administrator\Anaconda3\python.exe F:/untitled2_analysis/analysis_test/book_getdata.py
  2. 抓取商铺的详情页和标题：
  3. 图书详情页和标题: //product.dangdang.com/29343617.html  重返狼群背后的故事
  4. 图书详情页和标题: //product.dangdang.com/1901285938.html  重返狼群背后的故事
  5. 图书详情页和标题: //product.dangdang.com/29344138.html  重返狼群背后的故事（当当专享签名本）
  6. 图书详情页和标题: //product.dangdang.com/11055037207.html  重返狼群背后的故事
  7. 图书详情页和标题: //product.dangdang.com/11054207877.html  重返狼群背后的故事 一部“人狼情未了”的旷世传奇，一份难以割舍、恒以在怀的牵挂
  8. 图书详情页和标题: //product.dangdang.com/11094530971.html  重返狼群背后的故事
  9. 图书详情页和标题: //product.dangdang.com/11122830888.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐L
  10. 图书详情页和标题: //product.dangdang.com/11070949156.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐
  11. 图书详情页和标题: //product.dangdang.com/11109201793.html  重返狼群背后的故事
  12. 图书详情页和标题: //product.dangdang.com/11081533840.html  重返狼群背后的故事
  13. 图书详情页和标题: //product.dangdang.com/11086661163.html  重返狼群背后的故事【正版保证】
  14. 图书详情页和标题: //product.dangdang.com/11053921268.html  重返狼群背后的故事
  15. 图书详情页和标题: //product.dangdang.com/11106899051.html  【全新速发】重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐Z
  16. 图书详情页和标题: //product.dangdang.com/11094534101.html  重返狼群背后的故事
  17. 图书详情页和标题: //product.dangdang.com/11109684439.html  重返狼群背后的故事 李微漪红娟/ 9787573002693
  18. 图书详情页和标题: //product.dangdang.com/11080822814.html  重返狼群背后的故事
  19. 图书详情页和标题: //product.dangdang.com/11028514723.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐
  20. 图书详情页和标题: //product.dangdang.com/11118911082.html  【全新】重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐L
  21. 图书详情页和标题: //product.dangdang.com/11052958360.html  重返狼群背后的故事
  22. 图书详情页和标题: //product.dangdang.com/11098533507.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐MM 213 978
  23. 图书详情页和标题: //product.dangdang.com/11093667219.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐
  24. 图书详情页和标题: //product.dangdang.com/11090511769.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐 李微漪 红娟/著
  25. 图书详情页和标题: //product.dangdang.com/11083420138.html  重返狼群背后的故事
  26. 图书详情页和标题: //product.dangdang.com/11081434885.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐
  27. 图书详情页和标题: //product.dangdang.com/11057789612.html  重返狼群背后的故事
  28. 图书详情页和标题: //product.dangdang.com/11062864767.html  重返狼群背后的故事
  29. 图书详情页和标题: //product.dangdang.com/11096513173.html  重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐
  30. 图书详情页和标题: //product.dangdang.com/11052954980.html  重返狼群背后的故事
  31. 图书详情页和标题: //product.dangdang.com/11123839217.html  全新重返狼群背后的故事 一部 人狼情未了 的旷世传奇 一份难以割舍、恒以在怀的牵挂 一段探寻人与自然和谐L
  32. 图书详情页和标题: //product.dangdang.com/11102125424.html  【诺拉图书】正版重返狼群背后的故事
  33. 图书详情页和标题: //product.dangdang.com/11061066098.html  正版书籍 重返狼群背后的故事 一部人狼情未了的旷世传奇 一份难以割舍恒以在怀的牵挂 一段探寻人与自然和谐之道的路径
  34. 图书详情页和标题: //product.dangdang.com/11056613528.html  重返狼群【3册】重返狼群背后的故事+重返狼群：再见格林 （被人类抚养长大的狼，回归自然将面临怎样的命
  35. 图书详情页和标题: //product.dangdang.com/11115153382.html  9787573002693 重返狼群背后的故事 李微漪红娟 著 海南出版社 枫林苑图书专营店 数量：
  36. 图书详情页和标题: //product.dangdang.com/11113675426.html  9787573002693 重返狼群背后的故事 李微漪红娟 著 海南出版社 数量：
  37. 图书详情页和标题: //product.dangdang.com/11125634888.html  重返狼群正版全3册彩绘注音版本任选城市流浪李微漪荒野求生回归家园10-12岁儿童文学动物小说让我陪你千里寻你重返狼群背后
  38. 图书详情页和标题: //product.dangdang.com/11104741576.html  重返狼群背后的故事 李微漪红娟 著 9787573002693 海南出版社【直发】 达额立减 闪电发货 80%城市次日达
  39. 图书详情页和标题: //product.dangdang.com/11094536371.html  重返狼群背后的故事
  40. 图书详情页和标题: //product.dangdang.com/11083419738.html  重返狼群背后的故事
  41. 抓取图片的地址：
  42. 图片地址: //img3m7.ddimg.cn/17/27/29343617-1_b_11.jpg
  43. 图片地址: images/model/guan/url_none.png
  44. 图片地址: images/model/guan/url_none.png
  45. 图片地址: images/model/guan/url_none.png
  46. 图片地址: images/model/guan/url_none.png
  47. 图片地址: images/model/guan/url_none.png
  48. 图片地址: images/model/guan/url_none.png
  49. 图片地址: images/model/guan/url_none.png
  50. 图片地址: images/model/guan/url_none.png
  51. 图片地址: images/model/guan/url_none.png
  52. 图片地址: images/model/guan/url_none.png
  53. 图片地址: images/model/guan/url_none.png
  54. 图片地址: images/model/guan/url_none.png
  55. 图片地址: images/model/guan/url_none.png
  56. 图片地址: images/model/guan/url_none.png
  57. 图片地址: images/model/guan/url_none.png
  58. 图片地址: images/model/guan/url_none.png
  59. 图片地址: images/model/guan/url_none.png
  60. 图片地址: images/model/guan/url_none.png
  61. 图片地址: images/model/guan/url_none.png
  62. 图片地址: images/model/guan/url_none.png
  63. 图片地址: images/model/guan/url_none.png
  64. 图片地址: images/model/guan/url_none.png
  65. 图片地址: images/model/guan/url_none.png
  66. 图片地址: images/model/guan/url_none.png
  67. 图片地址: images/model/guan/url_none.png
  68. 图片地址: images/model/guan/url_none.png
  69. 图片地址: images/model/guan/url_none.png
  70. 图片地址: images/model/guan/url_none.png
  71. 图片地址: images/model/guan/url_none.png
  72. 图片地址: images/model/guan/url_none.png
  73. 图片地址: images/model/guan/url_none.png
  74. 图片地址: images/model/guan/url_none.png
  75. 图片地址: images/model/guan/url_none.png
  76. 图片地址: images/model/guan/url_none.png
  77. 图片地址: images/model/guan/url_none.png
  78. 图片地址: images/model/guan/url_none.png
  79. 图片地址: images/model/guan/url_none.png
  80. 抓取商品评论数：
  81. 评论数： 1299条评论
  82. 评论数： 76条评论
  83. 评论数： 1013条评论
  84. 评论数： 1条评论
  85. 评论数： 1条评论
  86. 店铺种类：
  87.  
  88. 私营图书： 龙飞东方文化图书专营店
  89. 私营图书： 一笔文化图书专营店
  90. 私营图书： 杰尼特文化图书专营店
  91. 私营图书： 昌世永乐图书专营店
  92. 私营图书： 新学图书专营店
  93. 私营图书： 翰林中天图书专营店
  94. 私营图书： 北京永贤图书专营店
  95. 私营图书： 阳光前行图书专营店
  96. 私营图书： 点溪图书专营店
  97. 私营图书： 博雅文化图书专营店
  98. 私营图书： 金楼博阅图书专营店
  99. 私营图书： 红书简图书专营店
  100. 私营图书： 荷露茗图书专营店
  101. 私营图书： 探月文化图书专营店
  102. 私营图书： 建工图书专营店
  103. 私营图书： 超创时代图书专营店
  104. 私营图书： 鼎美文化图书专营店
  105. 私营图书： 古韵书香图书专营店
  106. 私营图书： 聚知图书专营店
  107. 私营图书： 北京金楼博阅图书专营店
  108. 私营图书： 一越图书专营店
  109. 私营图书： 金瑞达图书专营店
  110. 私营图书： 天涯书友图书专营店
  111. 私营图书： 昌盛图书专营店
  112. 私营图书： 逸文图书专营店
  113. 私营图书： 瑞银图书专营店
  114. 私营图书： 诺拉图书专营店
  115. 私营图书： 玉海顺虹图书专营店
  116. 私营图书： 点溪图书专营店
  117. 私营图书： 枫林苑图书专营店
  118. 私营图书： 北京枫林苑图书专营店
  119. 私营图书： 轩然书香图书专营店
  120. 私营图书： 道正图书专营店
  121. 私营图书： 费芸图书专营店
  122. 私营图书： 京齐图书专营店
  123.  
  124. 私营图书： 龙飞东方文化图书专营店
  125. 私营图书： 一笔文化图书专营店
  126. 私营图书： 杰尼特文化图书专营店
  127. 私营图书： 昌世永乐图书专营店
  128. 私营图书： 新学图书专营店
  129. 私营图书： 翰林中天图书专营店
  130. 私营图书： 北京永贤图书专营店
  131. 私营图书： 阳光前行图书专营店
  132. 私营图书： 点溪图书专营店
  133. 私营图书： 博雅文化图书专营店
  134. 私营图书： 金楼博阅图书专营店
  135. 私营图书： 红书简图书专营店
  136. 私营图书： 荷露茗图书专营店
  137. 私营图书： 探月文化图书专营店
  138. 私营图书： 建工图书专营店
  139. 私营图书： 超创时代图书专营店
  140. 私营图书： 鼎美文化图书专营店
  141. 私营图书： 古韵书香图书专营店
  142. 私营图书： 聚知图书专营店
  143. 私营图书： 北京金楼博阅图书专营店
  144. 私营图书： 一越图书专营店
  145. 私营图书： 金瑞达图书专营店
  146. 私营图书： 天涯书友图书专营店
  147. 私营图书： 昌盛图书专营店
  148. 私营图书： 逸文图书专营店
  149. 私营图书： 瑞银图书专营店
  150. 私营图书： 诺拉图书专营店
  151. 私营图书： 玉海顺虹图书专营店
  152. 私营图书： 点溪图书专营店
  153. 私营图书： 枫林苑图书专营店
  154. 私营图书： 北京枫林苑图书专营店
  155. 私营图书： 轩然书香图书专营店
  156. 私营图书： 道正图书专营店
  157. 私营图书： 费芸图书专营店
  158. 私营图书： 京齐图书专营店
  159.  
  160. 私营图书： 龙飞东方文化图书专营店
  161. 私营图书： 一笔文化图书专营店
  162. 私营图书： 杰尼特文化图书专营店
  163. 私营图书： 昌世永乐图书专营店
  164. 私营图书： 新学图书专营店
  165. 私营图书： 翰林中天图书专营店
  166. 私营图书： 北京永贤图书专营店
  167. 私营图书： 阳光前行图书专营店
  168. 私营图书： 点溪图书专营店
  169. 私营图书： 博雅文化图书专营店
  170. 私营图书： 金楼博阅图书专营店
  171. 私营图书： 红书简图书专营店
  172. 私营图书： 荷露茗图书专营店
  173. 私营图书： 探月文化图书专营店
  174. 私营图书： 建工图书专营店
  175. 私营图书： 超创时代图书专营店
  176. 私营图书： 鼎美文化图书专营店
  177. 私营图书： 古韵书香图书专营店
  178. 私营图书： 聚知图书专营店
  179. 私营图书： 北京金楼博阅图书专营店
  180. 私营图书： 一越图书专营店
  181. 私营图书： 金瑞达图书专营店
  182. 私营图书： 天涯书友图书专营店
  183. 私营图书： 昌盛图书专营店
  184. 私营图书： 逸文图书专营店
  185. 私营图书： 瑞银图书专营店
  186. 私营图书： 诺拉图书专营店
  187. 私营图书： 玉海顺虹图书专营店
  188. 私营图书： 点溪图书专营店
  189. 私营图书： 枫林苑图书专营店
  190. 私营图书： 北京枫林苑图书专营店
  191. 私营图书： 轩然书香图书专营店
  192. 私营图书： 道正图书专营店
  193. 私营图书： 费芸图书专营店
  194. 私营图书： 京齐图书专营店
  195. 店铺销售价格及折扣：
  196. 第1家店铺销售情况：
  197. 销售价格： ¥21.60
  198. 原来价格： ¥48.00
  199. 打折比例：  (4.5折) 
  200. 第2家店铺销售情况：
  201. 销售价格： ¥21.50
  202. 第3家店铺销售情况：
  203. 销售价格： ¥21.60
  204. 原来价格： ¥48.00
  205. 第4家店铺销售情况：
  206. 销售价格： ¥36.00
  207. 原来价格： ¥48.00
  208. 打折比例：  (7.5折) 
  209. 第5家店铺销售情况：
  210. 销售价格： ¥33.10
  211. 原来价格： ¥48.00
  212. 打折比例：  (6.9折) 
  213. 第6家店铺销售情况：
  214. 销售价格： ¥45.60
  215. 原来价格： ¥48.00
  216. 打折比例：  (9.5折) 
  217. 第7家店铺销售情况：
  218. 销售价格： ¥37.00
  219. 原来价格： ¥48.00
  220. 打折比例：  (7.71折) 
  221. 第8家店铺销售情况：
  222. 销售价格： ¥45.54
  223. 原来价格： ¥48.00
  224. 打折比例：  (9.49折) 
  225. 第9家店铺销售情况：
  226. 销售价格： ¥26.00
  227. 原来价格： ¥47.65
  228. 打折比例：  (5.46折) 
  229. 第10家店铺销售情况：
  230. 销售价格： ¥29.12
  231. 原来价格： ¥48.00
  232. 打折比例：  (6.07折) 
  233.  
  234. Process finished with exit code 0

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/485978
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号