当前位置:   article > 正文

Python爬虫笔记1——爬虫概述_爬 就是通过编写程序来爬取互联 上的优秀资源(图 , 频, 视频, 数据)

爬 就是通过编写程序来爬取互联 上的优秀资源(图 , 频, 视频, 数据)

爬虫概述

爬虫概念

用途:爬⾍就是通过编写程序来爬取互联⽹上的优秀资源(图⽚, ⾳频, 视频, 数据)

爬虫和Python

使用Python的优点:
⽽Python是众多编程语⾔中, ⼩⽩上⼿最快, 语法最简单. 有⾮常多的关于爬⾍能⽤到的第三⽅⽀持库.

爬虫的合法性

法律允许爬虫的存在,但是!存在违法风险。
善意的爬⾍: 不破坏被爬取的⽹站的资源(正常访问, ⼀般频率不
⾼, 不窃取⽤户隐私)
恶意的爬⾍: 影响⽹站的正常运营(抢票, 秒杀, 疯狂solo⽹站资源造成⽹站宕机)

爬⾍的⽭与盾

反爬机制:

⻔户⽹站可以通过制定相应的策略或者技术⼿段,防⽌爬⾍程序进⾏⽹站数据的爬取。

反反爬策略:

爬⾍程序可以通过制定相关的策略或者技术⼿段,破解⻔户⽹站中具备的反爬机制,从⽽可以获取⻔户⽹站中相关的数据。

robots.txt协议:

君⼦协议。规定了⽹站中哪些数据可以被爬⾍爬取哪些数据不可以被爬取,只是一个协议

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小惠珠哦/article/detail/924345
推荐阅读
相关标签
  

闽ICP备14008679号