当前位置:   article > 正文

爬取广州链家二手房并写入csv_爬取的广州二手房价数据怎么存储

爬取的广州二手房价数据怎么存储
知识点:多线程,读取csv,xpath
  1. import json
  2. import csv
  3. import requests
  4. import threading
  5. import lxml
  6. import lxml.etree
  7. #递归锁
  8. rLock=threading.RLock()
  9. headers = {
  10. 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'}
  11. #获取区域
  12. def getAreaList(url):
  13. html=requests.get(url,headers=headers).text
  14. mytree=lxml.etree.HTML(html)
  15. areList=mytree.xpath('//div[@data-role="ershoufang"]//a')
  16. areaDict={}
  17. for area in areList:
  18. # 区域名
  19. areaName=area.xpath('./text()')[0]
  20. #url
  21. areaUrl = 'https://gz.lianjia.com'+area.xpath('./@href')[0]
  22. #print(areaName,areaUrl)
  23. areaDict[areaName]=areaUrl
  24. print(areaName,areaUrl)
  25. return areaDict
  26. #获取区域页数
  27. def getAreaPage(areaUrl,areaName):
  28. html = requests.get(are
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/192497
推荐阅读
相关标签
  

闽ICP备14008679号