赞
踩
网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。可以简单地把网络爬虫的行为理解为以程序代替浏览器,作为客户端与服务器交互,获取服务器数据的过程。
诞生之初 在搜索引擎没有被开发之前,互联网只是文件传输协议(FTP)站点的集合,用户只能在这些站点中导航以找到特定的共享文件,此时的互联网还没有搜索。因此,人们为了查找和组合互联网上可用的分布式数据,创建了一个自动化程序,称为网络爬虫。
搜索引擎时代
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。