当前位置:   article > 正文

python数据分析:爬取某东商城商品评论数据并做词云展示(含完整源码及详细注解)_结合词频统计案例,结合网爬技术,从某个网站(可以是京东或当当网之类)的书评或商品

结合词频统计案例,结合网爬技术,从某个网站(可以是京东或当当网之类)的书评或商品

python数据分析,爬取某东商城商品评论数据并做词云展示。

一、明确爬取的网页及结构

        找到要爬取的网页地址,发现有一个获取json格式评论数据的接口:

url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=21738292624&score=0&sortType=5&page={pno}&pageSize=10&isShadowSku=0&rid=0&fold=1"

分析其中的结构,可以知道,其中的productId就是商品的ID,如果要爬取某个商品的评论数据,只需要更换这个值即可。可以直接把这个url复制到浏览器中访问,可以看到确实有数据:

其中的page就是页码,如果评论有多页,就需要改变这个值从而实现多页的爬取。

二、明确获取到的数据结构

           我们看到返回的数据是json格式的,所以直接解析json即可,前提就是需要解读json中的每一项代表的意义,这样才知道评论人、评论的内容分别在json中的哪个位置。直接返回的json格式不太直观,可以搜索一些在线解析json的网站,把返回的json复制进去,这些网

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/800766
推荐阅读
相关标签
  

闽ICP备14008679号