devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【爬虫2】——聚焦爬虫

作者：你好赵伟 | 2024-04-27 06:42:43

赞

踩

聚焦爬虫

目录

 二、聚焦爬虫

步骤：

主要技术——数据解析：

编码实践

正则

        基础知识

        1.简单的爬取图片

        2.正式爬取图片                

        3.正式爬取图片(2)     使用os

        4.正式爬取图片(3)    分页爬取

bs4

原理：

基础知识

爬虫实践

1.爬目录

2.爬目录+详细内容

基础知识

 【实战1】——58同城二手房爬取

【实战2】——图片爬取

【实战3】——爬取免费简历模板

 二、聚焦爬虫

在通用爬虫基础上，爬取特定内容

所以，

步骤：

  1. 网址
  2. 请求
  3. 获取数据
  4. 数据解析
  5. 存数据

主要技术——数据解析：

解析的局部文本内容都在标签之间或者属性中存储

所以，大象塞冰箱里，2步：

  1. 定位标签
  2. 标签内容或者属性中存储的数据进行提取（解析）

分类：

  • 正则
  • bs4
  • xpath

编码实践

  • 正则

        基础知识

 

 

 

 

 

 

 

        1.简单的爬取图片
  1. import requests
  2.  
  3. if __name__ == "__main__":
  4.     headers = {
  5.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  6.     }
  7.  
  8.     url = 'https://img-blog.csdnimg.cn/88f0581db75245a198deba3b1bad2e60.png'
  9.     # content返回二进制形式的图片数据
  10.     # json()对象   text字符串     content二进制
  11.     img_content = requests.get(url=url,headers=headers).content
  12.     with open('./img1.jpg','wb') as fp:
  13.         fp.write(img_content)

        2.正式爬取图片                
  1. import re
  2.  
  3. import requests
  4.  
  5. if __name__ == "__main__":
  6.     headers = {
  7.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  8.     }
  9.     # 1.确定网址
  10.     url = 'https://books.toscrape.com/'
  11.  
  12.     # 2.发请求,得到html
  13.     html = requests.get(url=url,headers=headers).text
  14.  
  15.     # 3.分析html结构，用正则进行数据解析
  16.     # < div class ="image_container" >
  17.     #      < a href = "catalogue/tipping-the-velvet_999/index.html" >
  18.     #         < img src = "media/cache/26/0c/260c6ae16bce31c8f8c95daddd9f4a1c.jpg" alt = "Tipping the Velvet" class ="thumbnail" >
  19.     #      < / a >
  20.     # < / div >
  21.     html=html.replace('\n',' ')
  22.     ex = '<div class="image_container">.*?<img src="(.*?)" alt.*?'#注意这里不要有多余的空格，直接黏贴确实会有空格，所以还要手动改改
  23.     img_list=re.findall(ex,html)
  24.     print(img_list)
  25.  
  26.     #4.链接完整的网址
  27.     # https://books.toscrape.com/media/cache/2c/da/2cdad67c44b002e7ead0cc35693c0e8b.jpg
  28.     # media/cache/2c/da/2cdad67c44b002e7ead0cc35693c0e8b.jpg
  29.     for src in img_list:
  30.         url='https://books.toscrape.com/'+src
  31.         img_content=requests.get(url=url,headers=headers).content
  32.  
  33.         # 获取每个图片的名字
  34.         # 通过/ 分割，并【-1】快速拿到最后一个  yyds
  35.         fileName='./img/'+src.split('/')[-1]
  36.         #./img/94b1b8b244bce9677c2f29ccc890d4d2.jpg
  37.         with open(fileName,'wb') as fp:
  38.             fp.write(img_content)
  39.             print(fileName+'保存成功！！！')
  40.

        3.正式爬取图片(2)     使用os
  1. import os
  2. import re
  3.  
  4. import requests
  5.  
  6.  
  7.  
  8. if __name__ == "__main__":
  9.     # 新增了！！！！！！
  10.     if not os.path.exists('./img'):
  11.         os.mkdir('./img')
  12.     headers = {
  13.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  14.     }
  15.     # 1.确定网址
  16.     url = 'https://books.toscrape.com/'
  17.  
  18.     # 2.发请求,得到html
  19.     html = requests.get(url=url,headers=headers).text
  20.  
  21.     # 3.分析html结构，用正则进行数据解析
  22.     html = html.replace('\n', ' ')#没有这个换行也不行，因为.不匹配换行啊！！！！！
  23.     ex = '<div class="image_container">.*?<img src="(.*?)" alt.*?'#注意这里不要有多余的空格，直接黏贴确实会有空格，所以还要手动改改
  24.     img_list=re.findall(ex,html)
  25.     print(img_list)
  26.  
  27.     #4.链接完整的网址
  28.     for src in img_list:
  29.         url='https://books.toscrape.com/'+src
  30.         img_content=requests.get(url=url,headers=headers).content
  31.  
  32.         fileName='./img/'+src.split('/')[-1]
  33.         
  34.         with open(fileName,'wb') as fp:
  35.             fp.write(img_content)
  36.             print(fileName+'保存成功！！！')
  37.

        4.正式爬取图片(3)    分页爬取
  1. import os
  2. import re
  3.  
  4. import requests
  5.  
  6.  
  7.  
  8. if __name__ == "__main__":
  9.     # os
  10.     if not os.path.exists('./img'):
  11.         os.mkdir('./img')
  12.     headers = {
  13.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  14.     }
  15.  
  16.     # 我要分页爬取，所以重新确定网址
  17.     # https://books.toscrape.com/catalogue/page-2.html
  18.     # 分析出来，改参数就可以实现分页效果，所以，就循环喽
  19.  
  20.  
  21.     for page_num in range(1,5):
  22.         url = 'https://books.toscrape.com/catalogue/page-{:d}.html'.format(page_num)
  23.         # print(url)
  24.  
  25.         # 2.发请求,得到html
  26.         html = requests.get(url=url,headers=headers).text
  27.  
  28.         # 3.分析html结构，用正则进行数据解析
  29.         html=html.replace('\n',' ')
  30.         ex = '<div class="image_container">.*?<img src="(.*?)" alt.*?'#注意这里不要有多余的空格，直接黏贴确实会有空格，所以还要手动改改
  31.         img_list=re.findall(ex,html)
  32.         print(img_list)
  33.  
  34.         #4.链接完整的网址
  35.         for src in img_list:
  36.             url='https://books.toscrape.com/'+src
  37.             img_content=requests.get(url=url,headers=headers).content
  38.  
  39.             fileName='./img/'+src.split('/')[-1]
  40.  
  41.             with open(fileName,'wb') as fp:
  42.                 fp.write(img_content)
  43.                 print(fileName+'保存成功！！！')
  44.

  • bs4

原理：
  1. 实例化一个BeautifulSoup对象，并将页面源码数据加载到该对象中
  2. 调用该对象的属性或方法，进行标签定位和数据提取 

BeautifulSoup(content, 'lxml')` 和 `BeautifulSoup(content, 'html.parser')` 都是使用 BeautifulSoup 库来解析 HTML 或 XML 内容的方式，但使用了不同的解析器。

区别如下：

1. 解析器：`lxml` 使用了第三方库 lxml 来解析 HTML 或 XML，而 `html.parser` 则使用 Python 内置的标准库 html.parser 来解析。
2. 性能：`lxml` 解析器通常比 `html.parser` 解析器更快，因为 lxml 是 C 语言编写的，而 html.parser 是纯 Python 实现的。因此，处理大型文档时，`lxml` 解析器可能更高效。
3. 容错性：`html.parser` 解析器在处理不规范的 HTML 或 XML 时更具容错性，能够处理一些不完全闭合标签或其他错误的情况。而 `lxml` 解析器对于不规范的文档可能会报错或产生不可预测的结果。
4. 功能：`lxml` 解析器提供了更多的功能和选项，例如 XPath 查询、CSS 选择器等。而 `html.parser` 解析器的功能较为简单，不支持这些高级功能。

选择使用哪个解析器取决于具体的需求和情况。如果处理的是规范的 HTML 或 XML，且需要更高的性能和功能，可以选择 `lxml` 解析器。如果处理的是不规范的文档，或者只需要基本的解析功能，可以选择 `html.parser` 解析器。

需要注意的是，使用 `lxml` 解析器需要先安装 lxml 库，可以通过 `pip install lxml` 命令进行安装。而 `html.parser` 解析器是 Python 的标准库，在大多数情况下无需额外安装。

基础知识
  1. # 一、对象的实例化
  2. #     本地实例化
  3. from bs4 import BeautifulSoup
  4. fp= open('./test.html','r',encoding='utf-8')
  5. soup=BeautifulSoup(fp,'html.parser')
  6. #   网上实例化
  7. # page_text=response.text
  8. # soup=BeautifulSoup(page_text,'html.parser')
  9.  
  10. # 二、数据解析的方法和属性
  11. # 1.soup.tagName返回html中第一次出现的tagName标签
  12. print(soup.a)
  13.  
  14. # 2.soup.find("tagName)等同于soup.div
  15. print(soup.find('a'))
  16. print(soup.find('div',class_='left'))
  17.  
  18. # 3.返回符合要求的所有标签（列表）
  19. print(soup.findAll('a'))
  20.  
  21. # 4.选择器，返回列表 id class 标签 ……
  22. print(soup.select('.left'))
  23.  
  24. # >表示一个层级
  25. #空格表示多个层级
  26. print(soup.select('.left>ul>li'))
  27.  
  28. # 三、获取标签之间文本数据
  29. soup.a.text  soup.xxx.get_text()#获得所有内容，不是直系的内容也可以获得
  30. soup.xxxx.string  #只能直系内容
  31.  
  32. # 四、获取标签属性值
  33. # soup.select('.left a')['href']   不可以
  34. print(soup.a['href'])

爬虫实践
1.爬目录
  1.  
  2. import requests
  3. from bs4 import BeautifulSoup
  4. headers = {
  5.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  6. }
  7. url='https://www.shicimingjv.com/bookindex/75.html'
  8. response=requests.get(url=url,headers=headers)
  9. print(response)
  10. html=response.text
  11. soup=BeautifulSoup(html,'html.parser')
  12. all_ul=soup.findAll('ul',class_='book-tags')
  13. all_title=soup.findAll('h4')
  14. # print(all_title)
  15. # print(all_ul)
  16. # for ul in all_ul:
  17. #     all_li=ul.findAll('li')
  18. #     # print(all_li)
  19. #     for li in all_li:
  20. #         print(li.text    )
  21. #         print("*****************")
  22. for i in range(len(all_ul)):
  23.     print(all_title[i].text)
  24.     # print(all_ul[i].text)
  25.     # print(all_ul[i].findAll('li'))
  26.     all_li=all_ul[i].findAll('li')
  27.     for li in all_li:
  28.         a=li.a
  29.         #a=li.find('a')也可以
  30.         print(a.text)
  31.  
  32.     print("________________________________________")
  33.  
  34. #其实直接ul.text也行的 反正文字也没有别的了
2.爬目录+详细内容

这有点鸡肋，在详情页也可以爬到标题啊

  1.  
  2. import requests
  3. from bs4 import BeautifulSoup
  4. headers = {
  5.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  6. }
  7. url='https://www.shicimingjv.com/bookindex/78.html'
  8. response=requests.get(url=url,headers=headers)
  9. print(response)
  10. html=response.text
  11. soup=BeautifulSoup(html,'html.parser')
  12.  
  13. # print(soup.a)
  14. # 1.爬取标题和超链接
  15. #     通过超链接再爬取详情页内容
  16. all_titles=soup.select('.book-tags li a')
  17. # print(all_titles)
  18. i=0
  19. for item in all_titles:
  20.     url2=item['href']
  21.     # print(url2)
  22.     response2=requests.get(url=url2,headers=headers)
  23.     html2=response2.text
  24.     soup2=BeautifulSoup(html2,'html.parser')
  25.     all_p = soup2.findAll('p')
  26.  
  27.     # 获取详细内容
  28.     content=""
  29.     for p in all_p:
  30.         p = p.text.strip()
  31.         content+=p+'\n'
  32.  
  33.     # print(content)
  34.  
  35. #优化 一步搞定获取内容
  36. #content=soup2.find('div',class_='entry-content').text
  37.  
  38.     fileName=str(all_titles[i].text)
  39.     filePath='./shangjunshu/'+fileName+'.txt'
  40.     with open(filePath,'w',encoding='utf-8' ) as fp:
  41.         fp.write(content)
  42.  
  43.     i+=1
  44.     print(fileName+'succeed')
  45.  
  46.
  • xpath

最常用、最便捷、通用性最好

解析原理：

  1. 实例化etree对象，讲页面源码数据加载到该对象中
  2. 调用该对象的xpath方法，结合xpath表达式，实现标签定位和内容捕获
基础知识
  1. # 实例化etree对象
  2. from lxml import etree
  3. # 本地
  4. etree.parse(filePath)
  5.  
  6. # 互联网
  7. etree.HTML('page_text')
  1. from lxml import etree
  2.  
  3. tree = etree.parse("hhh.html", etree.HTMLParser())
  4. # print(tree)
  5.  
  6. # /  表示从根节点开始定位，表示一个层级
  7. r = tree.xpath('/html/head/title')
  8.  
  9. # //  表示多个层级
  10. r = tree.xpath('/html//title')
  11.  
  12. # //  表示从任意位置开始定位
  13. r = tree.xpath('//title')
  14.  
  15. # 属性定位 tagName[@attrName="attrValue"
  16. r = tree.xpath('//div[@class="left"]   ')
  17.  
  18. # 索引定位 下标从1开始
  19. r = tree.xpath('//div[@class="left"]/ul[1]   ')
  20.  
  21. # 取出文本
  22. r = tree.xpath('//div[@class="left"]/ul[1]/li[2]/a/text()   ')      #   ['love']
  23. r = tree.xpath('//div[@class="left"]/ul[1]/li[2]/a/text()   ')[0]   #    love
  24.  
  25. # /text()获取标签中直系的内容
  26. r = tree.xpath('//div[@class="left"]/ul[1]/li[2]/text()   ')   #   空，啥也没有，因为不是直系的文字
  27.  
  28. # //text()非直系 所有文字
  29. r = tree.xpath('//div[@class="left"]/ul[1]/li[2]//text()   ')   #
  30. r = tree.xpath('//div[@class="left"]/ul[1]//text()   ')   #['wwwwww', 'love', '\r\n    ']
  31.  
  32. # 取属性  /@sttrName
  33. r = tree.xpath('//div[@class="right"]/img/@src  ')
  34.  
  35.  
  36. 局部解析是./
  37.  
  38. #或
  39. r = tree.xpath('//div[@class="left"]/ul/li/a |  //div[@class="bottom"]/ul/div[2]/li/a')
  40. print(r)
 【实战1】——58同城二手房爬取
  1. from lxml import etree
  2. import requests
  3. # 1.爬取页面源码数据
  4. url = "https://dl.58.com/ershoufang/"
  5. headers = {
  6.     # "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  7. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
  8.  
  9. }
  10. # response=requests.get(url=url,headers=headers)
  11. # html=response.text
  12. # print(html)
  13. # with open('./58.html','w',encoding='utf-8') as fp:
  14. #     fp.write(html)
  15.  
  16. # 加上utf-8就不会是乱码了
  17. tree=etree.parse('./58.html',etree.HTMLParser(encoding='utf-8'))
  18.  
  19. all_title=tree.xpath('//h3[@class="property-content-title-name"]/@title')
  20.  
  21. all_detail=tree.xpath('//p[@class="property-content-info-text property-content-info-attribute"]//text()')
  22.  
  23. all_totalPrice=tree.xpath('//p[@class="property-price-total"]//text()')
  24. fp=open('./house58.txt','w',encoding='utf-8')
  25. for i in range(0,len(all_title)):
  26.     all_str=all_title[i]+"\n详情："+str(all_detail[i*11:11+i*11])+"\n总价："+str(all_totalPrice[i*3:3+i*3])
  27.     all_str=all_str.replace('[','').replace(']','').replace('\'','').replace(" ",'').replace(",",'')
  28.     all_str+='\n____________________________________________________________________________________\n'
  29.     fp.write(all_str)
  30.
【实战2】——图片爬取
  1. from lxml import etree
  2. import requests
  3. headers = {
  4.     # "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  5. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
  6.  
  7. }
  8.  
  9. for i in range(1,4):
  10.     if i==1:
  11.         url='http://pic.netbian.com/4kdongman'
  12.     else:
  13.         url='http://pic.netbian.com/4kdongman/index_{:d}.html'.format(i)
  14.     print(url)
  15.     response=requests.get(url=url,headers=headers)
  16.     # 解决乱码 【方法一】   不好用
  17.     response.encoding='utf-8'
  18.  
  19.     # 解决乱码 【方法二】   好用
  20.     response.encoding='gbk'
  21.  
  22.     print(response)
  23.     html=response.text
  24.  
  25. # tree=etree.parse('./img_4k.html',etree.HTMLParser(encoding='utf-8'))
  26.  
  27.  
  28.  
  29.     tree=etree.HTML(html)
  30.     all_src = tree.xpath('//ul[@class="clearfix"]/li/a/img/@src')
  31.     all_name = tree.xpath('//ul[@class="clearfix"]/li/a/img/@alt')
  32.     # print(all_name)
  33.     # print(all_src)
  34.     for j in range(len(all_src)):
  35.         # http://pic.netbian.com/uploads/allimg/230602/002954-16856369943b94.jpg
  36.         src="http://pic.netbian.com/"+all_src[j]
  37.         fileName=str(i)+str(all_name[j])
  38.         print(fileName)
  39.         filePath = "./dongman_img/"  + fileName + '.jpg'
  40.  
  41.         # 解决乱码 【方法三】   不好用
  42.         # fileName=fileName.encode('iso-8859-1').decode('gbk')
  43.  
  44.  
  45.         print(fileName)
  46.         response2= requests.get(url=src,headers=headers)
  47.  
  48.         # 要用content返回二进制数据，别i+的都不行
  49.         content=response2.content
  50.         with open(filePath, 'wb') as fp:
  51.             fp.write(content)
  52.             print(fileName+'succeed!!!!')
  53.     print("______________________________________________________")
【实战3】——爬取免费简历模板
  1. from lxml import etree
  2. import requests
  3. import re
  4. headers = {
  5.     # "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
  6. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
  7. }
  8. fp=open('./jianli.txt','w',encoding='utf-8')
  9. url="https://sc.chinaz.com/jianli/free.html"
  10. response=requests.get(url=url,headers=headers)
  11. response.encoding='utf-8'
  12. print(response)
  13. html=response.text
  14.  
  15. # 'gbk'    'utf-8'    'iso-8859-1'
  16. # with open('./jianli.html','w',encoding='iso-8859-1') as fp:
  17. #     fp.write(html)
  18.  
  19. # encoding='gbk'就什么都解析不出来
  20.  
  21. # iso-8859-1  就是乱码
  22. # 响应内容的实际编码与 response.encoding 不匹配，可能会导致乱码问题
  23. # tree=etree.parse('./jianli.html',etree.HTMLParser(encoding='utf-8'))
  24.  
  25. tree=etree.HTML(html)
  26.  
  27. # 获取总页数
  28. all_page=tree.xpath('//div[@class="pagination fr clearfix clear"]/a/@href')
  29. print(all_page)
  30. page_li=[]
  31. for i in all_page:
  32.     page_num=re.findall("free_(\d{1,}).html",i)
  33.     # print(page_num)
  34.     page_li.append(page_num)
  35. max_page_num=max(page_li)
  36. print(max_page_num)
  37. # 为了避免内存爆了，就先爬3页
  38. page=3
  39.  
  40.  
  41. # 爬每一页
  42. for page in range(1,4):
  43.     if page==1:
  44.         url="https://sc.chinaz.com/jianli/free.html"
  45.     else:
  46.         url="https://sc.chinaz.com/jianli/free_{:d}.html".format(page)
  47.     print(url)
  48.     response_page = requests.get(url=url, headers=headers)
  49.     response_page.encoding = 'utf-8'
  50.     # print(response_page)
  51.     page_html = response_page.text
  52.     page_tree=etree.HTML(page_html)
  53.     all_href=page_tree.xpath('//div[@class="box col3 ws_block"]/a/@href')
  54.  
  55.  
  56.     # 爬取详情页面
  57.     for i in range(len(all_href)):
  58.         url2=all_href[i]
  59.         response_detail=requests.get(url=url2,headers=headers)
  60.         response_detail.encoding='utf-8'
  61.         # print(response_detail)
  62.         detail_html=response_detail.text
  63.         # with open('./detailHTML.html','w',encoding='iso-8859-1') as fp:
  64.         #     fp.write(detail_html)
  65.         detail_tree=etree.HTML(detail_html,etree.HTMLParser(encoding='utf-8'))
  66.         all_download_href=detail_tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li/a/@href')
  67.         download_name= str(detail_tree.xpath('//div[@class="ppt_tit clearfix"]/h1/text()')[0]   )
  68.         # print(download_name)
  69.         content=download_name+"    福建电信下载链接："+all_download_href[0]+'\n\n'
  70.         fp.write(content)
  71.         print(download_name+"    福建电信下载链接："+all_download_href[0])
  72.     print("\n___________________________________________________________________________\n")
  73. fp.close()

 

 写文章-CSDN博客

Pycharm快捷键：

ctrl+Alt+L 代码格式化

shift+tab   取消缩进

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/495325
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号