java爬虫框架有哪些_爬虫的基本原理

一 爬虫是什么

1. 爬虫介绍

近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上爬取数据的手段。

网络爬虫，即Web Spider，是一个很形象的名字。如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
# 1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。

# 2、互联网建立的目的？互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。

# 3、什么是上网？爬虫要做的是什么？我们所谓的上网便是由用户端计算机发送请求给目标计算机，将目标计算机的数据下载到本地的过程。

# 3.1 只不过，用户获取网络数据的方式是：浏览器提交请求->下载网页代码->解析/渲染成页面。

# 3.2 而爬虫程序要做的就是：模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中 　

# 3.1与3.2的区别在于: 我们的爬虫程序只提取网页代码中对我们有用的数据 # 4、总结爬虫

# 4.1 爬虫的比喻：如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据

# 4.2 爬虫的定义：向网站发起请求，获取资源后分析并提取有用数据的程序

# 4.3 爬虫的价值：互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把整个互联网的数据比喻为一座宝藏，那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏，掌握了爬虫技能，你就成了所有互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。

2. 哪些语言可以实现爬虫
# 1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。

# 2.java：可以实现爬虫。java可以非常好的处理和实现爬虫，是唯一可以与python并驾齐驱且是python的头号劲敌。但是java实现爬虫代码较为臃肿，重构成本较大。

# 3.c、c++：可以实现爬虫。但是使用这种方式实现爬虫纯粹是是某些人（大佬们）能力的体现，却不是明智和合理的选择。

# 4.python：可以实现爬虫。python实现和处理爬虫语法简单，代码优美，支持的模块繁多，学习成本低，具有非常强大的框架（scrapy等）且一句难以言表的好！没有但是！

4.爬虫的应用
# 1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 　　

1）搜索引擎如何抓取互联网上的网站数据？ 　　　　　

a)门户网站主动向搜索引擎公司提供其网站的url 　　　　　

b)搜索引擎公司与DNS服务商合作，获取网站的url 　　　　　

c)门户网站主动挂靠在一些知名网站的友情链接中

# 2.聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。 　　

例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

二 爬虫的基本流程

tip1: 发送请求的就是模拟浏览器发送请求，阐述底层如何走的。请求需要使用请求库，请求库帮我们实现了什么功能。
# 1、发起请求: 使用http库向目标站点发起请求，即发送一个Request 。Request包含：请求头、请求体等

# 2、获取响应内容 如果服务器能正常响应，则会得到一个Response。Response包含：html，json，图片，视频等

# 3、解析内容 解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等 　　解析json数据：json模块 　　解析二进制数据:以b的方式写入文件

# 4、保存数据、数据库、文件

三 请求与响应

tip2: 使用浏览器访问百度讲解。

# URL:即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它 # URL的格式由三部分组成：

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址，如目录和文件名等

# Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

# Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

# ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。四、Request

#1、请求方式：

常用的请求方式：GET，POST

其他请求方式：HEAD，PUT，DELETE，OPTHONS

ps：用浏览器演示get与post的区别，（用登录演示post）

post与get请求最终都会拼接成这种形式：k1=xxx&k2=yyy&k3=zzz

post请求的参数放在请求体内：可用浏览器查看，存放于form data内get请求的参数直接放在url后

#2、请求url：url全称统一资源定位符，如一个网页文档，一张图片。一个视频等都可以用url唯一来确定。

#3、请求头 User-agent：

请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户。

Cookies：cookie用来保存登录信息。

Referer:浏览器上次访问的网页url。一般做爬虫都会加上请求头

#4、请求体：如果是get方式，请求体没有内容；如果是post方式，请求体是format data

ps： 1、登录窗口，文件上传等，信息都会被附加到请求体内

2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post

五 Response

# 1、响应状态: 200：代表成功 301：代表跳转 404：文件不存在 403：权限 502：服务器错误

# 2、响应头: Respone header set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来。

# 3、网页源代码: preview 最主要的部分，包含了请求资源的内容,如网页html、图片和二进制数据等。

六 总结

# 1、总结爬虫流程：爬取--->解析--->存储

# 2、爬虫所需工具：请求库：requests,selenium

解析库：正则，beautifulsoup，pyquery

存储库：文件，MySQL，Mongodb，Redis

# 3、爬虫常用框架：scrapy