爬虫的基本介绍_爬虫 专业描述

一、爬虫是什么？

爬虫也叫网页蜘蛛，网络机器人，就是模拟客户端发送网络请求，获取请求对应的响应，一种按照一定规则，自动抓取互联网信息的程序。

即：通过模拟真实用户，向服务器（发送请求）-》获取响应（爬取到的服务器数据）-》对数据进行清洗操作-》数据保存操作

1. 反爬的重点：在于是否能够获取真实的数据

​服务器会识别不是一个真实的用户，那么就不会返回数据，这种行为就叫做反爬（服务器对爬虫）

2. 被反爬之后怎么操作呢？

​ 需要伪装成一个真实的用户，发送请求，这种行为就叫做反反爬（爬虫对服务器）

3. 爬虫本质：

可见皆可爬

4. 爬虫名词解释：

  （1）爬虫：模拟客户端访问，抓取数据

  （2）反爬：保护重要数据，阻止恶意网络攻击

  （3）反反爬：针对反爬做的措施
1
2
3
4
5

5. 被反爬之后怎么解决呢？（反反爬）

  ua反爬：ua(useragent) 用户身份  服务端会根据用户的请求次数以及请求的身份进行反爬

  ua反反爬： 换用不同的ua请求次数降低 时间延时
1
2
3