devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

webDriver以及Selenium使用总结_system.setproperty("webdriver.chrome.driver

作者：你好赵伟 | 2024-02-27 04:01:24

赞

踩

system.setproperty("webdriver.chrome.driver

maven依赖

  1.     <properties>
  2.         <selenium.version>2.53.1</selenium.version>
  3.     </properties>
  4.  
  5.      <!-- selenium -->
  6.         <dependency>
  7.             <groupId>org.seleniumhq.selenium</groupId>
  8.             <artifactId>selenium-java</artifactId>
  9.             <version>${selenium.version}</version>
  10.         </dependency>
  11.         <dependency>
  12.             <groupId>org.seleniumhq.selenium</groupId>
  13.             <artifactId>selenium-remote-driver</artifactId>
  14.             <version>${selenium.version}</version>
  15.         </dependency>
  16.         <dependency>
  17.             <groupId>org.seleniumhq.selenium</groupId>
  18.             <artifactId>selenium-server</artifactId>
  19.             <version>${selenium.version}</version>
  20.         </dependency>
  21.  
  22.         <!-- log4j -->
  23.         <dependency>
  24.             <groupId>log4j</groupId>
  25.             <artifactId>log4j</artifactId>
  26.             <version>1.2.17</version>
  27.         </dependency>
  28.         <dependency>
  29.             <groupId>org.apache.logging.log4j</groupId>
  30.             <artifactId>log4j-core</artifactId>
  31.             <version>2.17.0</version>
  32.         </dependency>

本地化部署

驱动下载

需要下载与chrom版本对应的chromedriver

下载位置

http://chromedriver.storage.googleapis.com/index.html

如果被墙住了，国内：

https://npm.taobao.org/mirrors/chromedriver/

查看chrome版本

chrome://version/

点击帮助-关于Google Chrome 也可以查看，但是会引起浏览器更新，不到万一不建议更新浏览器

使用样例

  1.     public  static void startChrome(){
  2.         System.out.println("start chrome browser...");
  3.         System.setProperty("webdriver.chrome.driver","C:\\chromedriver_win32_3_102.0.5\\chromedriver.exe");//指定驱动路径
  4.         DesiredCapabilities capabilities = DesiredCapabilities.chrome();
  5.         WebDriver driver = new ChromeDriver(capabilities);
  6.         driver.get("http://www.baidu.com/");
  7.         System.out.println("start firefox browser succeed...");
  8.         driver.close();
  9.     }

yum本地部署

Centos Chrome Chromdriver python Xvfb 无界面模式，需要centos7以上环境

安装 Xvfb

Xvfb 是一个实现了 X 服务器协议的 虚拟显示服务器，运行在内存当中，如果要运行浏览器，必须要用 X 显示服务，所以安装 Xvfb ， 安装如下。

yum install Xvfb -y
yum install libXfont -y
yum install xorg-x11-fonts* -y

为防止依赖缺失，发生莫名其妙的问题，可以再执行:

yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-devel -y


安装 google-chrome

wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
yum install google-chrome-stable_current_x86_64.rpm

selenium之 chromedriver与chrome版本映射表

https://sites.google.com/a/chromium.org/chromedriver/downloads

如果被墙住了，国内：

https://npm.taobao.org/mirrors/chromedriver/


启动 Xvfb 

Xvfb -ac :99 -screen 0 1280x1024x16 & export DISPLAY=:99

手动测试下，启动google-chrome
[root@linjie test]# google-chrome

[9311:9311:0521/164942.275865:ERROR:zygote_host_impl_linux.cc(88)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.


查看chrome版本

(base) [root@localhost ~]# google-chrome --version
Google Chrome 109.0.5414.74 

找不到DevToolsActivePort的报错处理：

selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.
  (unknown error: DevToolsActivePort file doesn't exist)
  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

1.下载驱动

wget https://chromedriver.storage.googleapis.com/81.0.4044.69/chromedriver_linux64.zip
unzip chromedriver_linux64.zip

2.复制驱动到指定位置

chmod +x chromedriver
mv -f chromedriver /usr/local/share/chromedriver
ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

3.将chromedriver加入环境变量

export PATH=/usr/local/share/chromedriver:$PATH

4.添加option.add_argument('--no-sandbox')

添加option.add_argument('--no-sandbox') 即可解决找不到DevToolsActivePort的报错

在python中测试一下

  1. #coding=utf-8
  2. from selenium import webdriver
  3.  
  4. option = webdriver.ChromeOptions()
  5. option.add_argument('headless')
  6. option.add_argument('--no-sandbox')
  7. driver = webdriver.Chrome(chrome_options=option)
  8. driver.get('https://www.google.com')
  9. print(driver.title)
  10. #最后关闭一下
  11. driver.quit()

来源：

安装Chrome（Headless）并在python中使用 - 腾讯云开发者社区-腾讯云

Grid部署

docker部署grid

1.启用ipv4转发

先在服务器安装好docker服务，并建议设置好国内加速器（我用的是阿里）。
由于docker需要开启端口映射，所以服务器需要启用ipv4转发：

vim /etc/sysctl.conf
#添加以下配置
net.ipv4.ip_forward=1
#重启网络服务
systemctl restart network
#查看结果为1表示已开启
sysctl net.ipv4.ip_forward

2.下载镜像

#下载hub镜像

docker pull selenium/hub

#下载chrome镜像 默认就是headless模式

docker pull selenium/node-chrome

#查看到下载到本地的镜像

docker images

3.创建网络

docker network create grid


4.创建hub容器

若不指定版本此过程会pull最新版本镜像并进行装载

docker run -d -p 4442-4444:4442-4444 --net grid --name selenium-hub selenium/hub

5.创建node容器

docker run -d --net grid -e SE_EVENT_BUS_HOST=selenium-hub  --shm-size=2g  -e SE_EVENT_BUS_PUBLISH_PORT=4442  -e SE_EVENT_BUS_SUBSCRIBE_PORT=4443  --name selenium-node-chrme1 selenium/node-chrome

#若需多个node，可重复执行以上命令，修改--name即可，例如：

docker run -d --net grid -e SE_EVENT_BUS_HOST=selenium-hub  --shm-size=2g  -e SE_EVENT_BUS_PUBLISH_PORT=4442  -e SE_EVENT_BUS_SUBSCRIBE_PORT=4443  --name selenium-node-chrme2 selenium/node-chrome 

6.访问控制台

http://192.168.10.130:4444/ui#

   使用样例

  1.     public  static void startRemoteChrome() throws MalformedURLException {
  2.         System.out.println("start chrome browser...");
  3.         DesiredCapabilities capabilities = DesiredCapabilities.chrome();
  4.         WebDriver driver = new RemoteWebDriver(new URL("http://192.168.10.130:4444//wd/hub/"),capabilities);
  5.         driver.get("http://www.baidu.com/");
  6.         System.out.println("start firefox browser succeed...");
  7.         driver.close();
  8.     }

DesiredCapabilities配置

  1.   public static WebDriver initDriver(String ip, String port, String domain, String cookieStr) {
  2.         DesiredCapabilities capabilities = DesiredCapabilities.chrome();
  3.         capabilities.setCapability("applicationCacheEnabled", true);
  4.  
  5.         capabilities.setCapability(CapabilityType.ForSeleniumServer.AVOIDING_PROXY, true);
  6.         capabilities.setCapability(CapabilityType.ForSeleniumServer.ONLY_PROXYING_SELENIUM_TRAFFIC, true);
  7.         // System.setProperty("http.nonProxyHosts", "localhost");
  8.         Proxy proxy = new Proxy();
  9.         proxy.setHttpProxy(ip + ":" + port).setFtpProxy(ip + ":" + port).setSslProxy(ip + ":" + port);
  10.         capabilities.setCapability(CapabilityType.PROXY, proxy);
  11.         ChromeOptions options = new ChromeOptions();
  12.         options.addArguments("--proxy-server=http://" + ip + ":" + port); // 切换代理
  13.         options.addArguments("--lang=" + "zh-CN"); // 切换浏览器语言
  14. //		options.addArguments("--disable-javascript"); //禁用js
  15. //		options.addArguments("--disable-plugins"); //禁用插件
  16. //		options.addArguments("--disable-images"); //禁用图像
  17. //		options.addArguments("--headless"); //-headless模式
  18. //		options.addArguments("--disable-gpu"); //禁用GPU加速
  19.         options.addArguments("--test-type", /* "--start-maximized", */ "no-default-browser-check"); // 意思好像是测试模式，最大化浏览器并且默认不检查浏览器
  20.         //options.addArguments("--test-type", "--ignore-certificate-errors"); // 设置忽略 Chrome 浏览器证书错误报警提示
  21.         // options.addArguments("user-data-dir=C:/Users/VULCAN/AppData/Local/Google/Chrome/User Data");
  22.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  23.         //options.addArguments("user-data-dir=C:\\dev\\scoped_dir1808_11424");
  24.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  25.         // options.addArguments("--test-type", "--incognito"); //启动进入隐身模式
  26.         // options.addArguments("--test-type", "--disable-plugins"); //禁用插件
  27.         //添加扩展的方法，将crx文件所在的路径添加进去
  28.         // options.addExtensions(new File("C:\\Users\\swang\\AppData\\Local\\Google\\Chrome\\UserData\\Default\\Extensions\\ijaobnmmgonppmablhldddpfmgpklbfh\\1.6.0_0.crx"));
  29.         //非windows环境默认用headless模式
  30.         if(!windows){
  31.             options.addArguments("--widows-size=1920,5000"); //为了完整截图
  32.             options.addArguments("--start-fullscreen");
  33.             options.addArguments("--start-maximized");
  34.             //headless配置
  35.             options.addArguments("--headless"); //-headless模式
  36.             options.addArguments("--disable-gpu"); //禁用GPU加速
  37.             options.addArguments("--no-sandbox"); //关闭沙盒模式
  38.         }
  39.         options.addArguments("--user-agent=" + userAgent);
  40.         capabilities.setCapability(ChromeOptions.CAPABILITY, options);
  41.         //WebDriver driver = new ChromeDriver(options); //本地化部署
  42.         //http://x.x.x.x:4444//wd/hub/  将url改成远程地址可以调用远程服务
  43.         WebDriver driver = new RemoteWebDriver(service.getUrl(), capabilities);
  44.         //设置超时
  45.         driver.manage().timeouts().implicitlyWait(200, TimeUnit.SECONDS);
  46.         driver.manage().timeouts().pageLoadTimeout(200, TimeUnit.SECONDS);
  47.         driver.manage().timeouts().setScriptTimeout(200, TimeUnit.SECONDS);
  48.         //加载cookie
  49.         if (cookieStr != null && domain != null) {
  50.             driver.get(domain);
  51.             loadCookiesString(driver, cookieStr);
  52.             driver.navigate().refresh();
  53.         }
  54.         return driver;
  55.     }

java selenium使用封装

selenium2java基本方法二次封装 - 知乎

selenium2java调用JavaScript方法封装

SeleniumUtils

  1. package com.isi.utils;
  2.  
  3. import org.apache.commons.io.FileUtils;
  4. import org.apache.log4j.Logger;
  5. import org.openqa.selenium.*;
  6. import org.openqa.selenium.chrome.ChromeDriver;
  7. import org.openqa.selenium.chrome.ChromeDriverService;
  8. import org.openqa.selenium.chrome.ChromeOptions;
  9. import org.openqa.selenium.interactions.Actions;
  10. import org.openqa.selenium.remote.CapabilityType;
  11. import org.openqa.selenium.remote.DesiredCapabilities;
  12. import org.openqa.selenium.remote.RemoteWebDriver;
  13. import java.io.File;
  14. import java.io.IOException;
  15. import java.util.Arrays;
  16. import java.util.Date;
  17. import java.util.Random;
  18. import java.util.StringTokenizer;
  19. import java.util.concurrent.TimeUnit;
  20.  
  21. /**
  22.  * Created by VULCAN on 2017/7/4.
  23.  */
  24. public class SeleniumUtils {
  25.     private static String userAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36";
  26.     private static final Logger logger = Logger.getLogger(SeleniumUtils.class);
  27.     private static  boolean windows;
  28.  
  29.     static {
  30.         String os = System.getProperty("os.name");
  31.         if (os.toLowerCase().contains("windows")) {
  32. //            System.setProperty("webdriver.chrome.driver", "C:/dev/chromedriver.exe");
  33.             System.setProperty("webdriver.chrome.driver", "C:\\chromedriver_win32_3_102.0.5\\chromedriver.exe");
  34.             windows=true;
  35.         } else {
  36.             System.setProperty("webdriver.chrome.driver", "/home/spider/test/chromedriver");
  37.         }
  38.         initservice();
  39.  
  40.     }
  41.  
  42.     /**
  43.      * 初始化服务
  44.      */
  45.     public static  ChromeDriverService service=null;
  46.     private static ChromeDriverService initservice() {
  47.          service = new ChromeDriverService.Builder().usingDriverExecutable(new File(System.getProperty("webdriver.chrome.driver"))).usingAnyFreePort().build();
  48.         try {
  49.             service.start();
  50.         } catch (IOException e) {
  51.             e.printStackTrace();
  52.         }
  53.         return service;
  54.     }
  55.  
  56.  
  57.     public static synchronized WebDriver initDriver() {
  58. //		ChromeDriverService service=initservice();
  59.         DesiredCapabilities capabilities = DesiredCapabilities.chrome();
  60.         capabilities.setCapability("applicationCacheEnabled", true);
  61.         capabilities.setCapability("chrome.switches", Arrays.asList("--start-maximized", "--start-fullscreen"));
  62.         ChromeOptions options = new ChromeOptions();
  63.         options.addArguments("--lang=" + "zh-CN"); // 切换浏览器语言
  64.         options.addArguments("--test-type", "--start-maximized" /*"no-default-browser-check"*/); // 意思好像是测试模式，最大化浏览器并且默认不检查浏览器
  65.         options.addArguments("--test-type", "--ignore-certificate-errors"); // 设置忽略 Chrome 浏览器证书错误报警提示
  66.         // options.addArguments("user-data-dir=C:/Users/VULCAN/AppData/Local/Google/Chrome/User Data");
  67.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  68. //		 options.addArguments("user-data-dir=C:\\dev\\scoped_dir25620_6285");
  69.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  70.         // options.addArguments("--test-type", "--incognito"); //启动进入隐身模式
  71.         // options.addArguments("--test-type", "--disable-plugins"); //禁用插件
  72.         // options.addExtensions(new File("C:\\Users\\swang\\AppData\\Local\\Google\\Chrome\\UserData\\Default\\Extensions\\ijaobnmmgonppmablhldddpfmgpklbfh\\1.6.0_0.crx"));//添加扩展的方法，将crx文件所在的路径添加进去
  73.         if(!windows){
  74.             options.addArguments("--widows-size=1920,5000"); //为了完整截图
  75.             options.addArguments("--start-fullscreen");
  76.             options.addArguments("--start-maximized");
  77.             //headless配置
  78.             options.addArguments("--headless"); //-headless模式
  79.             options.addArguments("--disable-gpu"); //禁用GPU加速
  80.             options.addArguments("--no-sandbox"); //关闭沙盒模式
  81.         }
  82.         options.addArguments("--user-agent=" + userAgent);
  83.         capabilities.setCapability(ChromeOptions.CAPABILITY, options);
  84.         WebDriver driver = new ChromeDriver(options);
  85. //		WebDriver driver = new RemoteWebDriver(service.getUrl(), capabilities);
  86.         driver.manage().timeouts().implicitlyWait(100, TimeUnit.SECONDS);
  87.         driver.manage().timeouts().pageLoadTimeout(100, TimeUnit.SECONDS);
  88.         driver.manage().timeouts().setScriptTimeout(100, TimeUnit.SECONDS);
  89.         return driver;
  90.     }
  91.  
  92.     /**
  93.      * 设置webDriver使用的代理ip和端口port
  94.      *
  95.      * @param ip
  96.      * @param port
  97.      * @return
  98.      * @throws Exception
  99.      */
  100.     public static WebDriver initDriver(String ip, String port, String domain, String cookieStr) {
  101.         DesiredCapabilities capabilities = DesiredCapabilities.chrome();
  102.         capabilities.setCapability("applicationCacheEnabled", true);
  103.  
  104.         capabilities.setCapability(CapabilityType.ForSeleniumServer.AVOIDING_PROXY, true);
  105.         capabilities.setCapability(CapabilityType.ForSeleniumServer.ONLY_PROXYING_SELENIUM_TRAFFIC, true);
  106.         // System.setProperty("http.nonProxyHosts", "localhost");
  107.         Proxy proxy = new Proxy();
  108.         proxy.setHttpProxy(ip + ":" + port).setFtpProxy(ip + ":" + port).setSslProxy(ip + ":" + port);
  109.         capabilities.setCapability(CapabilityType.PROXY, proxy);
  110.         ChromeOptions options = new ChromeOptions();
  111.         options.addArguments("--proxy-server=http://" + ip + ":" + port); // 切换代理
  112.         options.addArguments("--lang=" + "zh-CN"); // 切换浏览器语言
  113. //		options.addArguments("--disable-javascript"); //禁用js
  114. //		options.addArguments("--disable-plugins"); //禁用插件
  115. //		options.addArguments("--disable-images"); //禁用图像
  116. //		options.addArguments("--headless"); //-headless模式
  117. //		options.addArguments("--disable-gpu"); //禁用GPU加速
  118.         options.addArguments("--test-type", /* "--start-maximized", */ "no-default-browser-check"); // 意思好像是测试模式，最大化浏览器并且默认不检查浏览器
  119.         //options.addArguments("--test-type", "--ignore-certificate-errors"); // 设置忽略 Chrome 浏览器证书错误报警提示
  120.         // options.addArguments("user-data-dir=C:/Users/VULCAN/AppData/Local/Google/Chrome/User Data");
  121.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  122.         //options.addArguments("user-data-dir=C:\\dev\\scoped_dir1808_11424");
  123.         // //设置启动chrome为默认用户的配置信息（包括书签、扩展程序、代理设置等）, 运行程序前需关闭win7系统中采用默认配置打开的浏览器chrome
  124.         // options.addArguments("--test-type", "--incognito"); //启动进入隐身模式
  125.         // options.addArguments("--test-type", "--disable-plugins"); //禁用插件
  126.         //添加扩展的方法，将crx文件所在的路径添加进去
  127.         // options.addExtensions(new File("C:\\Users\\swang\\AppData\\Local\\Google\\Chrome\\UserData\\Default\\Extensions\\ijaobnmmgonppmablhldddpfmgpklbfh\\1.6.0_0.crx"));
  128.         //非windows环境默认用headless模式
  129.         if(!windows){
  130.             options.addArguments("--widows-size=1920,5000"); //为了完整截图
  131.             options.addArguments("--start-fullscreen");
  132.             options.addArguments("--start-maximized");
  133.             //headless配置
  134.             options.addArguments("--headless"); //-headless模式
  135.             options.addArguments("--disable-gpu"); //禁用GPU加速
  136.             options.addArguments("--no-sandbox"); //关闭沙盒模式
  137.         }
  138.         options.addArguments("--user-agent=" + userAgent);
  139.         capabilities.setCapability(ChromeOptions.CAPABILITY, options);
  140.         //WebDriver driver = new ChromeDriver(options); //本地化部署
  141.         //http://x.x.x.x:4444//wd/hub/  将url改成远程地址可以调用远程服务
  142.         WebDriver driver = new RemoteWebDriver(service.getUrl(), capabilities);
  143.         //设置超时
  144.         driver.manage().timeouts().implicitlyWait(200, TimeUnit.SECONDS);
  145.         driver.manage().timeouts().pageLoadTimeout(200, TimeUnit.SECONDS);
  146.         driver.manage().timeouts().setScriptTimeout(200, TimeUnit.SECONDS);
  147.         //加载cookie
  148.         if (cookieStr != null && domain != null) {
  149.             driver.get(domain);
  150.             loadCookiesString(driver, cookieStr);
  151.             driver.navigate().refresh();
  152.         }
  153.         return driver;
  154.     }
  155.  
  156.     public static void loadCookiesString(WebDriver driver, String cookieConent) {
  157.         String lineArr[] = cookieConent.split("\n");
  158.         for (String line : lineArr) {
  159.             StringTokenizer str = new StringTokenizer(line, ";");
  160.             while (str.hasMoreTokens()) {
  161.                 String name = str.nextToken();
  162.                 String value = str.nextToken();
  163.                 String domain = str.nextToken();
  164.                 String path = str.nextToken();
  165.                 Date expiry = null;
  166.                 String dt;
  167.                 if (!(dt = str.nextToken()).equals(null)) {
  168.                     // expiry=new Date(dt);
  169.                     // System.out.println();
  170.                 }
  171.                 boolean isSecure = new Boolean(str.nextToken()).booleanValue();
  172.                 Cookie ck = new Cookie(name, value, domain, path, expiry, isSecure);
  173.                 driver.manage().addCookie(ck);
  174.             }
  175.         }
  176.         driver.navigate().refresh();
  177.     }
  178.  
  179.  
  180.     public static String getCookieStr(WebDriver driver) {
  181. //        driver.navigate().refresh();
  182.         String cookieStr = null;
  183.         for (Cookie ck : driver.manage().getCookies()) {
  184.             cookieStr += (ck.getName() + "=" + ck.getValue() + ";" + ck.getDomain() + ";" + ck.getPath() + ";" + ck.getExpiry() + ";" + ck.isSecure() + ";");
  185. //            cookieStr += ck.getName() + "=" + ck.getValue()+";";
  186.         }
  187.         if(cookieStr==null) {
  188.             return null;
  189.         }else {
  190.             return cookieStr.substring(0, cookieStr.length() - 1).replaceFirst("null","");
  191.         }
  192.  
  193.     }
  194.  
  195.  
  196.     public static String getTotalCookieStr(WebDriver driver) {
  197.         driver.navigate().refresh();
  198.         String cookieStr = driver.manage().getCookies().toString();
  199.         cookieStr = cookieStr.substring(1, cookieStr.length() - 1);
  200.  
  201.         return cookieStr;
  202.     }
  203.  
  204.  
  205.     /**
  206.      * 控制页面滚动
  207.      *
  208.      * @param driver
  209.      * @param pageNum
  210.      * @param waitTime
  211.      */
  212.     private static Random random = new Random();
  213.     public static void rollPage(WebDriver driver, int pageNum, int waitTime) {
  214.         // 控制滚动条一直向下翻页
  215.         String url = driver.getCurrentUrl();
  216.         JavascriptExecutor js = (JavascriptExecutor) driver;
  217.         for (int i = 0; i < pageNum; i++) {
  218.             //js控制浏览器划到底部
  219.             js.executeScript("window.scrollTo(0,document.body.scrollHeight)");
  220.             logger.info(url + " page num::::::::" + (i + 1));
  221.             sleep(waitTime + random.nextInt(5000));
  222.         }
  223.     }
  224.  
  225.     /**
  226.      * 关闭 解决进程残留问题
  227.      *
  228.      * @param driver
  229.      */
  230.     public static synchronized void close(WebDriver driver) {
  231.         if (driver != null) {
  232.             try {
  233.                 driver.quit();
  234.                 driver.close();
  235. //				service.stop();
  236.             } catch (Exception e) {
  237.                 logger.warn("close webdriver error " + e.getMessage());
  238.             }
  239.         }
  240.     }
  241.  
  242.  
  243.     public static File getTotalImg(WebDriver driver) throws IOException {
  244.         driver.manage().window().fullscreen();
  245.         JavascriptExecutor js = (JavascriptExecutor) driver;
  246. //        Object width=js.executeScript("return document.body.scrollWidth");
  247. //        Object height=js.executeScript("return document.body.scrollHeight");
  248.         Object width = js.executeScript("return (document.documentElement.scrollWidth>document.documentElement.clientWidth) ? document.documentElement.scrollWidth : document.documentElement.scrollWidth");
  249.         Object height = js.executeScript("return (document.documentElement.scrollHeight >document.documentElement.clientHeight) ? document.documentElement.scrollHeight : document.documentElement.clientHeight");
  250.  
  251.         int w = Integer.parseInt(width.toString());
  252.         int h = Integer.parseInt(height.toString());
  253.  
  254.         System.out.println("width::::" + width);
  255.         System.out.println("height::::" + height);
  256.  
  257.         driver.manage().window().setSize(new Dimension(w, h));
  258.  
  259.         TakesScreenshot takesScreenshot = (TakesScreenshot) driver;
  260.         return takesScreenshot.getScreenshotAs(OutputType.FILE);
  261.     }
  262.  
  263.     /**
  264.      * 整页截图
  265.      *
  266.      * @param driver
  267.      * @param destPath
  268.      * @throws IOException
  269.      */
  270.     public synchronized static void screenshot(WebDriver driver, String destPath) throws IOException {
  271.         //记录原有的windows size
  272.         Dimension winSize = driver.manage().window().getSize();
  273.         File outFile = getTotalImg(driver);
  274.         FileUtils.moveFile(outFile, new File(destPath));
  275.         //还原windows size
  276.         driver.manage().window().setSize(winSize);
  277.     }
  278.  
  279.     /**
  280.      * 选中目标右键
  281.      * @param driver
  282.      * @param tagName
  283.      */
  284.     public static void contextClickByTagName(WebDriver driver,String tagName) {
  285.         Actions action = new Actions(driver);
  286.         action.contextClick(driver.findElement(By.tagName(tagName))).build().perform();
  287.  
  288.     }
  289.  
  290.     public static void sleep(int time){
  291.         try {
  292.             Thread.sleep(time);
  293.         } catch (InterruptedException e) {
  294.             e.printStackTrace();
  295.         }
  296.     }
  297.  
  298.     public static void main(String[] args) throws IOException {
  299. //		 for(int i=0;i<10;i++){
  300. //			 WebDriver webDriver = initDriver();
  301. //			 driver.get("http://www.baidu.com");
  302. //			 ThreadUtil.sleep(1000);
  303. //			 driver.quit();
  304. //		 }
  305.  
  306.         //加载 cookie
  307.  
  308. //		 QuestCookieDao questCookieDao = AppUtils.daoFactory(QuestCookieDao.class);
  309. //		 QuestCookie questCookie = questCookieDao.getCookiesByRand2();
  310. //		 us.codecraft.webmagic.proxy.Proxy proxy = ProxyUtils.getProxyByDomain();
  311. //		 String host = proxy.getHost();
  312. //		 String port = String.valueOf(proxy.getPort());
  313. //		 String cookies = questCookie.getCookies();
  314. //		 SeleniumUtils.initDriver(host,port,"http://www.zujuan.com/",cookies);
  315.  
  316.  
  317.         WebDriver driver = initDriver();
  318.         String url = "http://www.bubuko.com/infodetail-186319.html";
  319.         driver.get(url);
  320.  
  321.         screenshot(driver, "D:/test.png");
  322.  
  323.  
  324. //		 sleep(10000);
  325.  
  326. //		 String url2 = "http://www.qichacha.com/search?key=腾讯";
  327. //		 driver.navigate().to(url2);
  328.  
  329. //		 String cookieStr = getCookieStr(driver);
  330. //		 System.out.println(cookieStr);
  331.  
  332. //		 driver.navigate().refresh();
  333. //		 System.out.println("--------------------------------");
  334. //		 cookieStr = getCookieStr(driver);
  335. //		 System.out.println(cookieStr);
  336.  
  337.     }
  338.  
  339.  
  340. }

Selenium反屏蔽

python关于屏蔽selenium指纹的文章有很多都是使用stealth.min.js来屏蔽特征的，stealth.min.js又是node.js用来屏蔽selenium指纹的一段js代码，所以可以说java，和python屏蔽selenium特征的最初来源是node.js

依赖

  1.      <properties>
  2.                 <selenium.version>4.2.2</selenium.version>
  3.      </properties>
  4.  
  5.     <dependencies>
  6.         <!-- selenium -->
  7.         <dependency>
  8.             <groupId>org.seleniumhq.selenium</groupId>
  9.             <artifactId>selenium-java</artifactId>
  10.             <version>${selenium.version}</version>
  11.         </dependency>
  12.         <dependency>
  13.             <groupId>org.seleniumhq.selenium</groupId>
  14.             <artifactId>selenium-remote-driver</artifactId>
  15.             <version>${selenium.version}</version>
  16.         </dependency>
  17.         <dependency>
  18.             <groupId>org.seleniumhq.selenium</groupId>
  19.             <artifactId>selenium-server</artifactId>
  20.             <version>2.53.1</version>
  21.         </dependency>
  22.         <!--hutool-->
  23.         <dependency>
  24.             <groupId>cn.hutool</groupId>
  25.             <artifactId>hutool-all</artifactId>
  26.             <version>5.6.0</version>
  27.         </dependency>
  28. </dependencies>

代码

  1. import cn.hutool.core.io.FileUtil;
  2. import cn.hutool.core.map.MapBuilder;
  3. import org.openqa.selenium.Dimension;
  4. import org.openqa.selenium.WebDriver;
  5. import org.openqa.selenium.chrome.ChromeDriver;
  6. import org.openqa.selenium.chrome.ChromeOptions;
  7.  
  8. import java.io.File;
  9. import java.io.IOException;
  10. import java.util.Arrays;
  11. import java.util.HashMap;
  12. import java.util.LinkedHashMap;
  13. import java.util.Map;
  14.  
  15. public class BotTest {
  16.     public static void main(String[] args) throws IOException {
  17.         WebDriver driver = getWebDriver();
  18.         driver.get("https://bot.sannysoft.com/");
  19.     }
  20.     /**
  21.      * 获取web驱动
  22.      *
  23.      * @return 浏览器驱动
  24.      */
  25.     public static WebDriver getWebDriver() throws IOException {
  26.         String webDriverDir = "C:\\chromedriver_win32_3_102.0.5\\chromedriver.exe";
  27.         // 加载驱动
  28.         System.setProperty("webdriver.chrome.driver", webDriverDir);
  29.         // 设置浏览器参数
  30.         ChromeOptions options = new ChromeOptions();
  31.         Map<String, Object> prefs = new HashMap<String, Object>();
  32.         prefs.put("credentials_enable_service", false);
  33.         prefs.put("profile.password_manager_enabled", false);
  34.  
  35. //        excludeSwitches", Arrays.asList("enable-automation")在高版本的谷歌浏览器是无法屏蔽
  36. //        window.navigator.webdriver 为false 的特征，这里写出来是为了配合其他参数来关闭浏览器上显示"正在收到自动测试软件控制"的提示
  37.  
  38.         options.setExperimentalOption("excludeSwitches", Arrays.asList("enable-automation"));
  39.         options.addArguments("--disable-blink-features");
  40.         options.addArguments("--disable-blink-features=AutomationControlled");
  41.         options.setExperimentalOption("useAutomationExtension", false);
  42.  
  43.         options.setExperimentalOption("prefs", prefs);
  44.         // 创建驱动对象
  45.         WebDriver driver = new ChromeDriver(options);
  46.         driver.manage().window().setSize(new Dimension(1280, 1024));
  47.  
  48.         // 去除seleium全部指纹特征
  49.         String js = FileUtil.readString(new File("C:\\tmp\\team.min.js"), "utf-8");
  50.  
  51.         // MapBuilder是依赖hutool工具包的api
  52.         Map<String, Object> commandMap = MapBuilder.create(new LinkedHashMap<String, Object>()).put("source", js)
  53.                 .build();
  54.         // executeCdpCommand这个api在selenium3中是没有的,请使用selenium4才能使用此api
  55.         ((ChromeDriver) driver).executeCdpCommand("Page.addScriptToEvaluateOnNewDocument", commandMap);
  56.         return driver ;
  57.     }
  58. }

测试网站

Antibothttps://bot.sannysoft.com/

 stealth.min.js

https://github.com/requireCool/stealth.min.js

PhantomJs使用总结

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。

phantomJs使用总结_csdncjh的博客-CSDN博客下载 | PhantomJS 使用封装PhantomJsUtils来源phantomJs_Selenium_java 最全配置访问_菜鸡java程序员的博客-CSDN博客Selenium+Phantomjs做Java爬虫_西红柿丶番茄的博客-CSDN博客_java phantomjs seleniumhttps://blog.csdn.net/csdncjh/article/details/125382427

来源

Selenium的四种部署方式 - 知乎

Selenium Grid Docker部署+PythonDemo+配置解析

java selenium屏蔽所有selenium指纹和特征_fx9590的博客-CSDN博客_selenium去掉特征

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/149876
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号