基于python 爬虫网络舆情分析系统_基于Python的网络爬虫系统

孙建言 马雨欣 武文杰

摘要：通过Python和Scrapy框架的使用，实现了一个对电商商品和商品评价信息的爬取系统，文中详细地介绍了该系统的设计过程，能够完成需求中的功能，并且对所有爬取下来的数据进行了分析，对商品的不同品牌各类信息进行比对。

关键词：网络爬虫;Python;数据分析

中图分类号：G434        文献标识码：A

文章编号：1009-3044(2019)26-0061-03

开放科学(资源服务)标识码(OSID)：

Abstract： Through the use of Python and Scrapy framework， a crawling system for commercial mobile phone products and commodity evaluation information is realized. The design process of the system is introduced in detail， which can complete the functions in demand. All the crawled data are analyzed and the information of different brands of products is compared.

Key words： network crawler; Python; data analysis

1 引言

近年来，随着电商行业的兴起和物流产业的飞速发展，人们网上购物日益