网络爬虫之Selenium(可视化)爬虫_可视化爬虫

一、网络爬虫介绍

  1、什么是爬虫：

 网络爬虫（web crawler）也叫网页蜘蛛，网络机器人，是一种用来自动浏览万维网的程序或者脚本。爬虫可以验证超链接和HTML代码，用于网络抓取（Web scraping）。网络搜索引擎等站点通过爬虫软件更新自身的网站内容（Web content）或其对其他网站的索引。

   2、爬虫的由来（为什么会有爬虫）：

  随着时代的发展，信息时代引领时代潮流，但我们到网上去搜集信息时，查找网上的海量信息就像大海捞针，森罗万象，要提取到对我们有用的信息，我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，就这样爬虫就诞生了。

3、爬虫的原理：

 爬虫首先从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

用eclipce来实现爬虫技术：

         1、将浏览器加载到jvm

         2、创建浏览器对象 

         3、打开对应网址对应的网站

         4、爬虫的爬取对象：

                      包括互联网所有可以爬回的数据、文字、视频、图片，以及非结构化数据。

二、爬虫（selenium可视化爬虫）具体案例：

 1、关于python爬虫的说法，这里有一个误解，爬虫并不是Python独有的，可以做爬虫的语言有很多，例如：

 PHP，JAVA，C++，Python等等，到多数程序员选择Python做爬虫，是因为Python相对来说简单，而且功能比较齐全。今天我跟大家分享爬虫在JAVA语言导入selenium做的    

  2、实操：

一、爬虫的准备工作：(用JAVA语言来做爬虫，并且用的是Maven项目，也可以用web项目，）

  步骤：

1、在Eclipse中创建一个Maven项目，创建之后要将Maven依赖，以及web版本，还有pom.xml、project.Facets配置好。

 2、导入selenium相关依赖

 
<dependencies>
  <dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.0</version>
  </dependency>
 
  <dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.47</version>
  </dependency>
</dependencies>

要是用web项目去爬虫，就要导入相关的jar包：

  3、下载与浏览器版本相同的压缩包，我用的是谷歌浏览器，在网页主界面点击帮助关于即可查看自己所用浏览的版本： 

如果没有相同版本的压缩包，就选版本最近的压缩包：我的浏览器版本是95.0.4638.69，没有这个版本就下载相近的版本：

 点进去之后，无论是什么浏览器，都选择chromedriver_win32.zip,这个文件夹：

vccccccccccccccc