Selenium入门之java爬虫入门_java 爬虫框架 selenium

前言（发展历史）：

2004年，Thoughtworks的员工Jason Huggins编写了一个名为JavaScriptTestRunner的测试工具，并于当年向多位同事展示，该工具进一步进化为一个可以复用的测试框架并开源。

同时Bea, Dan Fabulich和Nelson Sproul等人修改架构为独立服务模式，期间有多位开发人员加入开发并推出了Selenium RC和Selenium-IDE。

Jason Huggins 2007年从Thoughtworks离职并加入Selenium support团队，同年Google多名员工加入开发，并在GTAC会议上介绍了Selenium在Google的使用情况。

Selenium是一个成功的开源软件，其发展获得很多公司和独立开发者的支持。

---

大纲：

        一、Selenium简介

        Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。 适用于自动化测试，js动态爬虫（破解反爬虫）等领域。

       该工具的主要功能包括：测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

---

        二、Selenium组成

 由图可知：由Selenium RC和Selenium WebDriver 合并成了Selenium2，最后衍生推出Selenium3

主要的四个核心组件介绍：

  1）Selenium IDE：嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作录制与回放功能，主要用于快速创建BUG及重现脚本，可转化为多种语言；
  2）Selenium RC： 核心组件，支持多种不同语言编写自动化测试脚本，通过其服务器作为代理服务器去访问应用，达到测试的目的；
  3）Selenium WebDriver（重点）：一个浏览器自动化框架，它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言，如Java、C# 、PHP、Python、Perl、Ruby；
  4）Selenium grid：测试辅助工具，用于做分布式测试，可以并行执行多个测试任务，提升测试效率。

---

        三、Selenium特点

                ​1）开源、免费；
                2）多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
                3）多平台支持:Linux、Windows、MAC（苹果系统）;
                4）多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
                5）对Web页面有良好的支持；
                6）简单(API 简单)、灵活(用开发语言驱动);
                7）支持分布式测试用例执行。 

---

      四、案例演示（ java爬虫入门）

     在爬虫技术领域分为三大核心板块：数据采集、数据清洗、数据分析。

     爬虫要做就是通过指定的url，直接返回用户所需数据，无需人工一步步操作浏览器获取。

     操作步骤：

 1.下载驱动包 （查看你谷歌版本，选择对应的版本）

         http://chromedriver.storage.googleapis.com/index.html

    （例如：我的谷歌版本是101.0.4951.54,则版本必须满足大版本101，小版本可以不同）

 

点击chromedriver_win32.zip下载即可，解压即用

 

解压之后(就相当于一个浏览器驱动，实际上就是通过这个驱动器对谷歌进行控制)

 

 2.在Idea中创建项目并导入依赖（会自动生成一个App.java）

     <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>3.141.59</version>
     </dependency>

 3.入门案例

       本案例中并未设置释放资源，每运行一次就会往任务管理器中不断打开新浏览器，解决方案就是直接擦掉，结束进程即可。如果想加也可以加上.....

     //关闭浏览器
     driver.close();
     //释放资源
     driver.quit();

package com.zking;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import java.util.List;
 
public class Demo {
    public static void main(String[] args) {
        //设置驱动（刚刚下载驱动包的路径）
  System.setProperty("webdriver.chrome.driver","C:\\Users\\gss\\Downloads\\chromedriver.exe");
        //创建驱动
        WebDriver driver=new ChromeDriver();
        //与将要爬取的网站建立连接
        driver.get("https://www.baidu.com");
 
        //  1.元素选择方式
        // 1）Class选择：driver.findElement(By.className("s_ipt"));
        /*WebElement element = driver.findElement(By.className("s_btn"));
        System.out.println(element.getAttribute("value"));*/
 
        // 2）ID选择：   driver.findElement(By.id("kw"));
        /*WebElement element = driver.findElement(By.id("kw"));
        System.out.println(element.getAttribute("class"));*/
 
        // 3）name选择： driver.findElement(By.name("wd"));
       /* WebElement element = driver.findElement(By.name("wd"));
        System.out.println(element.getAttribute("maxlength"));*/
 
        // 4）tag选择：  driver.findElements(By.tagName("input"));
       /* List<WebElement> elements = driver.findElements(By.tagName("a"));
        for (WebElement element : elements) {
            System.out.println(element.getText().trim());
        }*/
 
        // 5）link选择： driver.findElement(By.linkText("地图"));
        /*WebElement element = driver.findElement(By.linkText("更多"));
        System.out.println(element.getText());*/
 
        // 6）Partial link选择（a标签文本内容模糊匹配）：driver.findElements(By.partialLinkText("使用百"));
        /*List<WebElement> elements = driver.findElements(By.partialLinkText("人"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }*/
 
        // 7）css选择器：driver.findElement(By.cssSelector("#kw"));
        // CSS3样式选择器: #hotsearch-content-wrapper > li:nth-child(2)
        /*List<WebElement> elements = driver.findElements(By.cssSelector("#hotsearch-content-wrapper > li:nth-child(even)"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }*/
 
        // 8）xpath选择：driver.findElement(By.xpath("//*[@id=\"kw\"]"));
        /*WebElement element = driver.findElement(By.xpath("//*[@id=\"su\"]"));
        System.out.println(element.getAttribute("value"));*/
 
        // 9）模拟点击事件
        //1、sendKeys:往文本框中设置搜索条件
        driver.findElement(By.id("kw")).sendKeys("Java");
        //2、获取按钮
        driver.findElement(By.id("su")).click();
 
    }
}

模拟点击事件效果图展示：（直接就根据搜索的关键字Java跳转到了相关页面）