devbox
AllinToyou
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【Android+OkHttp3+Jsoup】 模拟登录教务系统 抓取课表和成绩_程序访问教务系统

作者：AllinToyou | 2024-02-21 09:03:12

赞

踩

程序访问教务系统

原文链接：https://blog.csdn.net/u013347241/article/details/52711018

今天这篇文章为大家带来的是模拟登录教务系统并抓取课表和成绩的详细实现过程。这个程序基于Android平台，大致的流程是首先使用OkHttp3网络请求框架来模拟登录教务系统，然后利用Jsoup库来解析获取到的html代码，最后只要处理下数据将其显示到界面上就可以了。运行程序后的效果如下图所示：

下面让我们先来捋一捋这篇文章所要分享大家哪几个方面的内容：

1. 如何使用HttpWatch工具，查看GET请求的地址，POST请求需要传递哪些参数，怎么设置header等等；

2. OkHttp3的基本使用方法，如何自动化管理Cookie等；

3. Jsoup的基本使用方法，用法很灵活，可通过DOM，CSS以及类似于jQuery的操作方法来操作数据；

4. 程序界面的设计。

接下来就正式开始进行详细说明了。

1. HttpWatch的使用方法

以前HttpWatch只能在IE浏览器中使用，现在也可以集成到火狐浏览器中使用。如果不想使用HttpWatch进行抓包，也可以使用Fiddler，这个工具也很强大。我们这里就还是介绍HttpWatch的用法，具体的打开方式是安装好HttpWatch Professional Edition后—>打开IE浏览器，点击“查看”这个菜单项—>选择“浏览器栏”—>最后选择“HttpWatch Professional”即可。成功打开后，现在就访问教务系统页面吧。点击Record按钮就可以开始抓包了。

P.S. 因为今年刚毕业，帐号已经被注销了，这里为了分享给大家这个程序的实现过程，找学弟借的帐号，下面相关的信息就打上马赛克了。

1.1 验证码

1.1.1 请求地址

以前正方教务系统有个bug，在用户名和密码都正确的情况下，登录时验证码直接传空值也能成功登录，这几天写代码的时候发现这个bug已经修复了，不正确填写验证码已经不能成功登录了。那我们先来看看验证码的请求地址吧，确保点击了Record按钮后，点击登录界面上的看不清换一张，从HttpWatch记录的信息可以知道发送了GET请求，这里我们最需要关心的是获取验证码的请求地址。

注：这里获取验证码和后面登录的操作，用的都是同一个Cookie。我后面会介绍怎么使用OkHttp自动化管理Cookie，所以这里的Cookie值是什么，不必关心。

1.2 登录系统

1.2.1 请求地址

填好用户名，密码及验证码后点击登录按钮，登录成功后，发现发送了POST请求，与GET请求不同的是我们不仅仅要关注请求的地址，还要关心请求Header以及Post的数据，而这三项可以分别在HttpWatch中的Overview, Header和POST Data这三个选项卡中查看。这里我们看到登录成功后，状态码是302，而不是200，说明这里进行了重定向，稍微关注一下，后面会提到我们的特殊处理。

1.2.2 请求头

同样的Cookie不用管，Headers我们就只用关心下面这三项。

注：现在我们来看看之前提到的状态码为302的问题，我们能发现302请求下面那个GET请求的URL和你浏览器地址栏的网址是一样的，也就是我们点击登录后，数据是发送给302那个地址的，最后才重定向到这个200的地址来。所以我们后面设置登录的Header时，Referer的值就直接设置这个状态码为200的地址就可以了，数据验证成功后直接跳转到这儿。

点击POST请求的Content标签页就能进一步验证我们的想法，这个是请求302那个地址成功后页面html代码，也就是说当数据验证成功后，会跳转到a标签的href属性里的地址，那个地址也就是200的GET请求URL，即系统主页，所以Referer直接设置它就行。

1.2.3 POST数据

POST的数据就每一条都要传了，没有值的传空字符串即可。

RadioButtonList1的值为乱码，我们可以去登录界面查看源代码就可以发现，RadioButtonList1是一个table的id，而我们登录时选择的是表格里的一个RadioButton，它的value是”学生”，所以我们后面传递参数的时候设成"学生"即可。

其实__VIEWSTATE也是通过取页面上控件的值所得，这个值据说是.net自动生成的，一般来说同一个页面，这个值不会变，不过我后面请求登录的时候还是每次都去取值，你也可以选择就用这个抓取到的数据，也是完全可以的。

1.3 查询课表

1.3.1 请求地址

1.3.2 请求头
还是这三个参数，只是跳转的Referer不同而已。

1.3.3 POST数据

__EVENTTARGET的值会根据你点击页面上的下拉框，最后改变的值学年还是学期来决定，如果最后点的是学年，值为xnd，点的是学期，值变为xqd。xnd是你所要查询的学年值，xqd是你要查询的学期值，而剩下的两个参数和之前一样，也是取得页面的固定的value值，后面请求就直接用抓取到的数据就行。

1.4 查询成绩

1.4.1 请求地址

1.4.2 请求头

1.4.3 POST数据

ddlXN是你所要查询的学年值，ddlXQ是你要查询的学期值。那个乱码的值，是之前所点击按钮"按学期查询"的value值，和之前一样查看源代码就能看到value，剩下的还是页面上的固定值，请求时直接用就行。

注：查询课表和成绩时，我们用HttpWatch会发现，Referer的URL中包含中文字符，后面使用OkHttp设置Referer时，如果直接用这条包含中文的URL，会导致程序出错，所以需要对中文字符进行url编码：URLEncoder.encode(studentName, "gb2312");这点需要特别关注一下。

2. OkHttp3的基本用法

OkHttp是一款高效且强大的类库，目前最热门的网络请求框架之一。支持HTTP和HTTP/2协议，对相同地址的所有请求可共享同一Socket；使用连接池来减少请求延迟；支持GZIP缩小下载大小；以及响应缓存可以完全避免重复请求。用法也比较简单，同时支持同步和异步请求。最低支持在Android 2.3及Java 7.0的环境下使用。现在OkHttp在Github上已经更新到3.4.1了，如果需要在Android Studio上使用，需要项目的build.gradle中添加这条依赖：compile 'com.squareup.okhttp3:okhttp:3.4.1'，以前说OkHttp内部依赖okio，不添加这个依赖请求会失败，现在只需要OkHttp这条依赖即可。因为是网络请求，还要记得去AndroidManifest.xml里添加网络权限：<uses-permission android:name="android.permission.INTERNET"/>

2.1 OkHttp3和之前的版本的差异

① 创建OkHttpClient对象的方式不同：OkHttp3提供了Builder，调用其build()方法来创建；而之前的版本则是直接通过new OkHttpClient()来创建，没使用创建者设计模式。

② 设置Cookie的方法不同：OkHttp3使用Builder的CookieJar()方法来设置；而之前的版本则是使用OkHttpClient的setCookieHandler()方法。

③ 构建POST请求参数的方式不同：OKHttp3使用FormBody.Builder或MultipartBody.Builder来构建；而之前的版本使用的是FormEncodingBuilder，MultipartBuilder。

④ 异步请求的回调函数返回的参数不同：OkHttp3的请求成功和失败的callback分别是public void onFailure(Call call, IOException e){}，public void onResponse(Call call, Response response){}；以前的版本则是public void onFailure(Request request, IOException e){}和public void onResponse(final Response response){}

还有其他差异就不一一列举了。

2.2 自动化管理Cookie

自动化管理Cookie会给你带来极大地便利，你可以不用再去手动处理Cookie，你也不用关心Cookie的读取与保存。这里通过继承实现CookieJar这个类，然后使用OkHttpClient.Builder()的cookieJar()方法来设置，不过要注意的是你所有的请求都需要使用同一个OkHttpClient对象，不然使用的就不是同一个Cookie了。这个类的写法主要参考了stackoverflow中这个问题：Automatic cookie handling with OkHttp 3 里gncabrera的回答。下面贴出这个类的完整代码：
 

  1. package com.example.webcrawler.utils;
  2.  
  3. import java.util.ArrayList;
  4. import java.util.List;
  5.  
  6. import okhttp3.Cookie;
  7. import okhttp3.CookieJar;
  8. import okhttp3.HttpUrl;
  9.  
  10. public class MyCookieJar implements CookieJar {
  11.  
  12.     private static List<Cookie> cookies;
  13.  
  14.     @Override
  15.     public void saveFromResponse(HttpUrl httpUrl, List<Cookie> cookies) {
  16.         this.cookies =  cookies;
  17.     }
  18.  
  19.     @Override
  20.     public List<Cookie> loadForRequest(HttpUrl httpUrl) {
  21.         if (null != cookies) {
  22.             return cookies;
  23.         } else {
  24.             return new ArrayList<Cookie>();
  25.         }
  26.     }
  27.  
  28.     public static void resetCookies() {
  29.         cookies = null;
  30.     }
  31. }

如何使用CookieJar()方法设置：

  1. OkHttpClient.Builder mOkHttpClientBuilder = new OkHttpClient.Builder();
  2. mOkHttpClientBuilder.cookieJar(new MyCookieJar());
  3. OkHttpClient mOkHttpClient = mOkHttpClientBuilder.build();

2.3 GET请求
2.3.1 同步的Http GET

  1. OkHttpClient.Builder mOkHttpClientBuilder = new OkHttpClient.Builder();
  2. final OkHttpClient mOkHttpClient = mOkHttpClientBuilder.build();
  3. new Thread(new Runnable() {
  4.  
  5.     @Override
  6.     public void run() {
  7.         Request request = new Request.Builder().url("https://www.google.com").build();
  8.         Call call = mOkHttpClient.newCall(request);
  9.         try {
  10.             Response response = call.execute();
  11.             // 或者直接Throw IOException
  12.         } catch (IOException e) {
  13.             e.printStackTrace();
  14.         }
  15.     }
  16. });

注：网络请求需放在子线程中执行

2.3.2 异步的Http GET

  1. OkHttpClient.Builder mOkHttpClientBuilder = new OkHttpClient.Builder();
  2. OkHttpClient mOkHttpClient = mOkHttpClientBuilder.build();
  3. Request request = new Request.Builder().url("https://www.google.com").build();
  4. mOkHttpClient.newCall(request).enqueue(new Callback() {
  5.  
  6.     @Override
  7.     public void onFailure(Call call, IOException e) {
  8.  
  9.     }
  10.  
  11.     @Override
  12.     public void onResponse(Call call, Response response) throws IOException {
  13.  
  14.     }
  15. });

2.4 POST请求

2.4.1 同步的Http POST

  1. OkHttpClient.Builder mOkHttpClientBuilder = new OkHttpClient.Builder();
  2. final OkHttpClient mOkHttpClient = mOkHttpClientBuilder.build();
  3. new Thread(new Runnable() {
  4.  
  5.     @Override
  6.     public void run() {
  7.         Headers.Builder headersBuilder = new Headers.Builder()
  8.                 .add("headerKey", "headerValue");
  9.         Headers requestHeaders = headersBuilder.build();
  10.  
  11.         FormBody.Builder formBodyBuilder = new FormBody.Builder()
  12.                 .add("paramKey", "ParamValue");
  13.         RequestBody requestBody = formBodyBuilder.build();
  14.  
  15.         Request request = new Request.Builder()
  16.                 .url("https://www.google.com")
  17.                 .headers(requestHeaders)
  18.                 .post(requestBody)
  19.                 .build();
  20.         try {
  21.             Response response = mOkHttpClient.newCall(request).execute();
  22.             // 或者直接Throw IOException
  23.         } catch (IOException e) {
  24.             e.printStackTrace();
  25.         }
  26.     }
  27. });

注：和同步的GET请求一样，要在子线程中执行
2.4.2 异步的Http POST

  1. OkHttpClient.Builder mOkHttpClientBuilder = new OkHttpClient.Builder();
  2. final OkHttpClient mOkHttpClient = mOkHttpClientBuilder.build();
  3. Headers.Builder headersBuilder = new Headers.Builder()
  4.         .add("headerKey", "headerValue");
  5. Headers requestHeaders = headersBuilder.build();
  6.  
  7. FormBody.Builder formBodyBuilder = new FormBody.Builder()
  8.         .add("paramKey", "paramValue");
  9. RequestBody requestBody = formBodyBuilder.build();
  10.  
  11. Request request = new Request.Builder()
  12.         .url("https://www.google.com")
  13.         .headers(requestHeaders)
  14.         .post(requestBody)
  15.         .build();
  16. mOkHttpClient.newCall(request).enqueue(new Callback() {
  17.  
  18.     @Override
  19.     public void onFailure(Call call, IOException e) {
  20.         
  21.     }
  22.  
  23.     @Override
  24.     public void onResponse(Call call, Response response) throws IOException {
  25.  
  26.     }
  27. });

注：回调函数还是子线程

2.5 封装OkHttp3

这里将OkHttp3封装成了一个工具类OkHttpUtils以便调用，不然每次请求都要写很多相同的东西确实也是挺麻烦的。工具类的实现参考了鸿洋大神的Android OkHttp完全解析 是时候来了解OkHttp了，不过这篇博客用的是OkHttp2，而且很多东西我们用不到，所以我在理解的基础上，加入了自动化管理Cookie的代码，POST请求时添加了Header参数，方法也改为了OkHttp3的。我们的这个工具类用法也比较简单，比如要发送POST请求，可以将request header和body分别放到Map集合中，然后调用postAsync()方法将两个Map作为参数传进去即可。单例也符合我们之前提到的自动化管理Cookie的要求，使用同一个OkHttpClient对象来做请求操作。下面将工具类完整的代码贴出来

  1. package com.example.webcrawler.utils;
  2.  
  3. import android.os.Handler;
  4. import android.os.Looper;
  5.  
  6. import java.io.IOException;
  7. import java.util.Map;
  8. import java.util.Set;
  9.  
  10. import okhttp3.Call;
  11. import okhttp3.Callback;
  12. import okhttp3.FormBody;
  13. import okhttp3.Headers;
  14. import okhttp3.OkHttpClient;
  15. import okhttp3.Request;
  16. import okhttp3.RequestBody;
  17. import okhttp3.Response;
  18.  
  19. /**
  20.  * http请求工具类, 封装了OkHttp3
  21.  */
  22. public class OkHttpUtil {
  23.     private static OkHttpUtil mHttpUtil;
  24.     private OkHttpClient.Builder mOkHttpClientBuilder;
  25.     private OkHttpClient mOkHttpClient;
  26.     private Handler mDelivery;
  27.  
  28.     private OkHttpUtil() {
  29.         mOkHttpClientBuilder = new OkHttpClient.Builder();
  30.         mOkHttpClientBuilder.cookieJar(new MyCookieJar());
  31.         mOkHttpClient = mOkHttpClientBuilder.build();
  32.         mDelivery = new Handler(Looper.getMainLooper());
  33.     }
  34.  
  35.     private static OkHttpUtil getInstance() {
  36.         if (mHttpUtil == null) {
  37.             synchronized (OkHttpUtil.class) {
  38.                 if (mHttpUtil == null) {
  39.                     mHttpUtil = new OkHttpUtil();
  40.                 }
  41.             }
  42.         }
  43.         return mHttpUtil;
  44.     }
  45.  
  46.     /**
  47.      * 同步的Get请求, 返回Response对象
  48.      */
  49.     private Response _getSync(String url) throws IOException {
  50.         final Request request = new Request.Builder().url(url).build();
  51.         Call call = mOkHttpClient.newCall(request);
  52.         Response response = call.execute();
  53.         return response;
  54.     }
  55.  
  56.     /**
  57.      * 同步的Get请求, 返回string
  58.      */
  59.     private String _getSyncString(String url) throws IOException {
  60.         Response response = _getSync(url);
  61.         return response.body().string();
  62.     }
  63.  
  64.     /**
  65.      * 异步的Get请求
  66.      */
  67.     private void _getAsync(String url, final ResultCallback callback) {
  68.         final Request request = new Request.Builder().url(url).build();
  69.         deliveryResult(callback, request);
  70.     }
  71.  
  72.     /**
  73.      * 同步的Post请求, 返回Response对象
  74.      */
  75.     private Response _postSync(String url, RequestData[] params,
  76.                                RequestData... headers) throws IOException {
  77.         Request request = buildPostRequest(url, params, headers);
  78.         Response response = mOkHttpClient.newCall(request).execute();
  79.         return response;
  80.     }
  81.  
  82.     /**
  83.      * 同步的Post请求, 返回string
  84.      */
  85.     private String _postSyncString(String url, RequestData[] params,
  86.                                    RequestData... headers) throws IOException {
  87.         Response response = _postSync(url, params, headers);
  88.         return response.body().string();
  89.     }
  90.  
  91.     /**
  92.      * 异步的post请求
  93.      */
  94.     private void _postAsync(String url, final ResultCallback callback,
  95.                             RequestData[] params, RequestData... headers) {
  96.         Request request = buildPostRequest(url, params, headers);
  97.         deliveryResult(callback, request);
  98.     }
  99.  
  100.     /**
  101.      * 异步的post请求
  102.      */
  103.     private void _postAsync(String url, final ResultCallback callback,
  104.                             Map<String, String> params, Map<String, String> headers) {
  105.         RequestData[] paramsArr = mapToRequestDatas(params);
  106.         RequestData[] headersArr = mapToRequestDatas(headers);
  107.         Request request = buildPostRequest(url, paramsArr, headersArr);
  108.         deliveryResult(callback, request);
  109.     }
  110.  
  111.     /**
  112.      * 将Map键值对数据转化为RequestData数组
  113.      */
  114.     private RequestData[] mapToRequestDatas(Map<String, String> params) {
  115.         int index = 0;
  116.  
  117.         if (params == null) {
  118.             return new RequestData[0];
  119.         }
  120.         int size = params.size();
  121.  
  122.         RequestData[] res = new RequestData[size];
  123.         Set<Map.Entry<String, String>> entries = params.entrySet();
  124.         for (Map.Entry<String, String> entry : entries) {
  125.             res[index++] = new RequestData(entry.getKey(), entry.getValue());
  126.         }
  127.         return res;
  128.     }
  129.  
  130.     /**
  131.      * 构建post请求参数
  132.      */
  133.     private Request buildPostRequest(String url, RequestData[] params,
  134.                                      RequestData... headers) {
  135.         if (headers == null) {
  136.             headers = new RequestData[0];
  137.         }
  138.         Headers.Builder headersBuilder = new Headers.Builder();
  139.         for (RequestData header : headers) {
  140.             headersBuilder.add(header.key, header.value);
  141.         }
  142.         Headers requestHeaders = headersBuilder.build();
  143.  
  144.         if (params == null) {
  145.             params = new RequestData[0];
  146.         }
  147.         FormBody.Builder formBodyBuilder = new FormBody.Builder();
  148.         for (RequestData param : params) {
  149.             formBodyBuilder.add(param.key, param.value);
  150.         }
  151.         RequestBody requestBody = formBodyBuilder.build();
  152.         return new Request.Builder()
  153.                 .url(url)
  154.                 .headers(requestHeaders)
  155.                 .post(requestBody)
  156.                 .build();
  157.     }
  158.  
  159.     /**
  160.      * 调用call.enqueue，将call加入调度队列，执行完成后在callback中得到结果
  161.      */
  162.     private void deliveryResult(final ResultCallback callback, Request request) {
  163.         mOkHttpClient.newCall(request).enqueue(new Callback() {
  164.  
  165.             @Override
  166.             public void onFailure(Call call, IOException e) {
  167.                 sendFailedStringCallback(call, e, callback);
  168.             }
  169.  
  170.             @Override
  171.             public void onResponse(Call call, Response response) throws IOException {
  172.                 try {
  173.                     switch (response.code()) {
  174.                         case 200:
  175.                             final byte[] bytes = response.body().bytes();
  176.                             sendSuccessResultCallback(bytes, callback);
  177.                             break;
  178.                         case 500:
  179.                             sendSuccessResultCallback(null, callback);
  180.                             break;
  181.                         default:
  182.                             throw new IOException();
  183.                     }
  184.  
  185.                 } catch (IOException e) {
  186.                     sendFailedStringCallback(call, e, callback);
  187.                 }
  188.             }
  189.         });
  190.     }
  191.  
  192.     /**
  193.      * 调用请求失败对应的回调方法，利用handler.post使得回调方法在UI线程中执行
  194.      */
  195.     private void sendFailedStringCallback(final Call call,
  196.                                           final Exception e,
  197.                                           final ResultCallback callback) {
  198.         mDelivery.post(new Runnable() {
  199.             @Override
  200.             public void run() {
  201.                 if (callback != null)
  202.                     callback.onError(call, e);
  203.             }
  204.         });
  205.     }
  206.  
  207.     /**
  208.      * 调用请求成功对应的回调方法，利用handler.post使得回调方法在UI线程中执行
  209.      */
  210.     private void sendSuccessResultCallback(final byte[] bytes,
  211.                                            final ResultCallback callback) {
  212.         mDelivery.post(new Runnable() {
  213.             @Override
  214.             public void run() {
  215.                 if (callback != null) {
  216.                     callback.onResponse(bytes);
  217.                 }
  218.             }
  219.         });
  220.     }
  221.  
  222.     public static abstract class ResultCallback {
  223.         public abstract void onError(Call call, Exception e);
  224.  
  225.         public abstract void onResponse(byte[] response);
  226.     }
  227.  
  228.     /************************ 以下为外部可以调用的方法 ************************/
  229.  
  230.     public static class RequestData {
  231.         String key;
  232.         String value;
  233.  
  234.         public RequestData() {
  235.  
  236.         }
  237.  
  238.         public RequestData(String key, String value) {
  239.             this.key = key;
  240.             this.value = value;
  241.         }
  242.     }
  243.  
  244.     public static Response getSync(String url) throws IOException {
  245.         return getInstance()._getSync(url);
  246.     }
  247.  
  248.     public static String getSyncString(String url) throws IOException {
  249.         return getInstance()._getSyncString(url);
  250.     }
  251.  
  252.     public static void getAsync(String url, ResultCallback callback) {
  253.         getInstance()._getAsync(url, callback);
  254.     }
  255.  
  256.     public static Response postSync(String url, RequestData[] params,
  257.                                     RequestData... headers) throws IOException {
  258.         return getInstance()._postSync(url, params, headers);
  259.     }
  260.  
  261.     public static String postSyncString(String url, RequestData[] params,
  262.                                         RequestData... headers) throws IOException {
  263.         return getInstance()._postSyncString(url, params, headers);
  264.     }
  265.  
  266.     public static void postAsync(String url, final ResultCallback callback,
  267.                                  RequestData[] params, RequestData... headers) {
  268.         getInstance()._postAsync(url, callback, params, headers);
  269.     }
  270.  
  271.     public static void postAsync(String url, final ResultCallback callback,
  272.                                  Map<String, String> params, 
  273.                                  Map<String, String> headers) {
  274.         getInstance()._postAsync(url, callback, params, headers);
  275.     }
  276. }

3. Jsoup的基本用法
Jsoup是用来提取和操作存储在Html代码中的数据的Java开源库。用法简单，功能强大，提供了一套十分完备的API，让你能够轻松的解析Html代码。它可以从URL，字符串或文件中解析Html，Jsoup本身就可以发送GET，POST等一系列请求，并解析Html代码，但它也存在一些不足，如果页面代码是AJAX是动态生成的，那么可能会发生抓取不到数据的情况，可能要自己模拟AJAX请求才行。我们项目里也只是用Jsoup来解析OkHttp请求成功后返回的字符串数据。使用Android Studio编写代码，需要在项目的build.gradle中添加依赖：compile 'org.jsoup:jsoup:1.9.2'

3.1 创建Document对象

有四种方式可以创建，① 解析Html字符串：Document document = Jsoup.parse(html); ② 解析Html片段：Document document = Jsoup.parseBodyFragment(html); ③ 从URL加载Document：Document document = Jsoup.connect("http://www.google.com/").get();④ 从一个文件加载：File input = new File("/files/index.html"); Document document = Jsoup.parse(input, "UTF-8"); 只要拥有了一个Document，你就可以使用Document中合适的方法或它父类Element和Node中的方法来取得相关数据。

3.2 查找元素

3.2.1 使用类似DOM的方法查找

这里利用的是Elements对象提供的方法来查找元素：

① 通过id查找：getElementById(String id)

② 通过标签查找：getElementsByTag(String tag)

③ 通过类名称查找：getElementsByClass(String className)

④ 通过属性来查找：getElementsByAttribute(String key)

⑤ 通过同级元素查找：siblingElements(), firstElementSibling(), lastElementSibling(), nextElementSibling(), previousElementSibling()

⑥ 通过父节点，子节点查找：parent(), children(), child(int index)

3.2.2 使用select()方法查找

这是一种类似于CSS或jQuery选择器的语法的方法

① 选择器基本用法：

    Ⅰ #id: 通过ID查找元素
    Ⅱ .class: 通过class名称查找元素
    Ⅲ tagname: 通过标签查找元素
    Ⅳ [attribute]: 利用属性查找元素
    Ⅴ [attr=value]: 利用属性值来查找元素
② 选择器组合使用：


    Ⅰ ele#id: 元素+ID
    Ⅱ ele.class: 元素+class
    Ⅲ ele[attr]: 元素+class
    Ⅳ parent > child: 查找某个父元素下的直接子元素
    Ⅴ ancestor child: 查找某个元素包含的子元素

③ 伪选择器的用法


    Ⅰ :has(seletor): 查找匹配选择器包含元素的元素
    Ⅱ :contains(text): 查找包含给定文本的元素
    Ⅲ :matches(regex): 查找哪些元素的文本匹配指定的正则表达式

3.3 获取元素数据

① attr(String key)：获取属性
② attributes()：获取所有属性
③ id()：获取id
④ className()：获取class名
⑤ text()：获取文本内容
⑥ html():获取元素内的HTML内容
⑦ outerHtml()获取元素外HTML内容
⑧ tagName()：获取标签名

3.4 操作HTML和文本

① Element.html(String html)：这个方法将先清除元素中的HTML内容，然后用传入的HTML代替。
② Element.prepend(String first) 和 Element.append(String last) 方法用于在分别在元素内部HTML的前面和后面添加HTML内容
③ Element.wrap(String around)：对元素包裹一个外部HTML内容。

注：以上只是简单介绍了常用的方法，Jsoup还有很多其他的方法，你可以到Jsoup官网查看API，还可以通过Jsoup cookBook中文版学习基本用法。

3.5 运用Jsoup的实例

3.5.1 获取__VIEWSTATE的数值

部分HTML代码如下：

我们会发现拥有name="__VIEWSTATE"这个属性的元素只有一个，所以我们就通过之前说过的选择器组合使用的方式，直接调用document.select("input[name=\"__VIEWSTATE\"]").first(); 来查找元素，再通过Element的attr()方法取得value属性。代码里还查找了__VIEWSTATEGENERATOR的value，是因为之前用HttpWatch记录请求信息的时候发现登录时会传递这个参数，所以你就根据需要传递的参数来解析取得相应的数据即可。

  1. private Map<String, String> _getViewStateValue(String html) {
  2.     Map<String, String> viewStateValue = new LinkedHashMap<>();
  3.     if (null != html) {
  4.         Document document = Jsoup.parse(html);
  5.         Element viewstateElement = 
  6.                 document.select("input[name=\"__VIEWSTATE\"]").first();
  7.         Element viewstateGeneratorElement = 
  8.                 document.select("input[name=\"__VIEWSTATEGENERATOR\"]").first();
  9.         if (null != viewstateElement) {
  10.             viewStateValue.put(Constants.LOGIN_BODY_NAME_VIEWSTATE, 
  11.                     viewstateElement.attr("value"));
  12.         }
  13.         if (null != viewstateGeneratorElement) {
  14.             viewStateValue.put(Constants.LOGIN_BODY_NAME_VIEWSTATEGENERATOR, 
  15.                     viewstateGeneratorElement.attr("value"));
  16.         }
  17.     }
  18.     return viewStateValue;
  19. }

3.5.2 获取学生姓名或登录失败信息
登录成功时，部分HTML代码如下所示。学生姓名位于id为”xhxm”的span标签中，由于这个id是唯一的，所以直接通过Element nameElement = document.getElementById("xhxm"); 查找元素，在利用Element的html()方法取得内容，最后使用正则表达式取得学生姓名。


登录失败时，错误信息是通过alert()输出的，通过html代码就能发现，script标签有一个没有value的属性值"defer"是唯一的，所以使用selct()选择器的方式就能找到元素：Element infoElement = document.select("script[defer]").last(); 最后还是用正则表达式匹配中文字符。

    

  1. private Map<String, String> _getNameOrFailedInfo(String html) {
  2.     Map<String, String> returnInfo = new LinkedHashMap<>();
  3.     if (null != html) {
  4.         Document document = Jsoup.parse(html);
  5.         Element nameElement = document.getElementById("xhxm");
  6.         if (null != nameElement) {
  7.             String studentName = nameElement.html();
  8.             Pattern p = Pattern.compile("(.+)[^同学]");
  9.             Matcher m = p.matcher(studentName);
  10.             if(m.find()) {
  11.                 returnInfo.put(Constants.STUDENTNAME, m.group());
  12.             }
  13.         } else {
  14.             // 找不到学生姓名，说明登录失败，跳转回了登录界面。这里取得登录失败的原因后返回
  15.             Element infoElement = document.select("script[defer]").last();
  16.             if (null != infoElement) {
  17.                 String login_failed_info = infoElement.html();
  18.                 Pattern p = Pattern.compile("([\\u4E00-\\u9FA5]+)");
  19.                 Matcher m = p.matcher(login_failed_info);
  20.                 if(m.find()) {
  21.                     returnInfo.put(Constants.FAILEDINFO, m.group());
  22.                 }
  23.             }
  24.         }
  25.     }
  26.     return returnInfo;
  27. }

Jsoup的基本用法就介绍到这里，项目完整的JsoupUtil代码就不贴出来了。说白了，利用Jsoup来抽取数据，重点是能找出所要查找元素的唯一特性，就能快速定位，最后利用抽取文本、属性等方法就能得到你想要的数据了。

4. 程序界面的实现

4.1 登录界面

登录界面还是比较常规的，主要使用线性布局，以及TextView，EditText，ImageView，Button等常见的控件构成。如果想要Activity以Dialog的形式出现，也很简单，只要在AndroidManifest.xml文件中指定该Activity对应的主题：android:theme="@style/LoginDialog"，自定义的style文件如下所示：

  1. <style name="LoginDialog" parent="Theme.AppCompat.Light.Dialog">
  2.     <item name="android:backgroundDimEnabled">false</item>
  3.     <item name="android:windowBackground">@drawable/dialog_login</item>
  4.     <item name="windowNoTitle">true</item>
  5. </style>

直接继承appcompat-v7兼容包中的Dialog主题，通过android:windowBackground设置主题背景，windowNoTitle使title bar不出现。
登录界面的布局文件就如下所示：

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
  3.     android:layout_width="match_parent"
  4.     android:layout_height="match_parent"
  5.     android:background="@android:color/white"
  6.     android:orientation="vertical">
  7.  
  8.     <LinearLayout
  9.         android:layout_width="match_parent"
  10.         android:layout_height="wrap_content"
  11.         android:orientation="vertical">
  12.  
  13.         <TextView
  14.             android:id="@+id/tv_title"
  15.             android:layout_width="match_parent"
  16.             android:layout_height="wrap_content"
  17.             android:gravity="center"
  18.             android:text="@string/login"
  19.             android:textColor="@android:color/holo_blue_light"
  20.             android:textSize="30sp"
  21.             android:textStyle="bold|italic" />
  22.  
  23.         <View
  24.             android:layout_width="match_parent"
  25.             android:layout_height="2dp"
  26.             android:background="@android:color/holo_blue_light" />
  27.     </LinearLayout>
  28.  
  29.     <EditText
  30.         android:id="@+id/et_inputUsername"
  31.         android:layout_width="match_parent"
  32.         android:layout_height="wrap_content"
  33.         android:layout_marginTop="5dp"
  34.         android:drawableLeft="@mipmap/username"
  35.         android:hint="@string/input_username"
  36.         android:inputType="number"
  37.         android:maxLines="1"/>
  38.  
  39.     <EditText
  40.         android:id="@+id/et_inputPassword"
  41.         android:layout_width="match_parent"
  42.         android:layout_height="wrap_content"
  43.         android:layout_marginTop="5dp"
  44.         android:drawableLeft="@mipmap/password"
  45.         android:hint="@string/input_password"
  46.         android:inputType="textPassword"
  47.         android:maxLines="1"/>
  48.  
  49.     <LinearLayout
  50.         android:layout_width="match_parent"
  51.         android:layout_height="wrap_content"
  52.         android:gravity="center_vertical"
  53.         android:orientation="horizontal">
  54.  
  55.         <EditText
  56.             android:id="@+id/et_inputVerificationCode"
  57.             android:layout_width="0dp"
  58.             android:layout_height="wrap_content"
  59.             android:layout_marginTop="5dp"
  60.             android:layout_weight="1"
  61.             android:digits="@string/verificationCode"
  62.             android:drawableLeft="@mipmap/verification_code"
  63.             android:hint="@string/input_verificationCode"
  64.             android:maxLength="4"
  65.             android:maxLines="1" />
  66.  
  67.         <ImageView
  68.             android:id="@+id/iv_VerificationCode"
  69.             android:layout_width="wrap_content"
  70.             android:layout_height="wrap_content"
  71.             android:background="@mipmap/loading_failed" />
  72.  
  73.         <ImageView
  74.             android:id="@+id/iv_reload"
  75.             android:layout_width="wrap_content"
  76.             android:layout_height="wrap_content"
  77.             android:layout_marginLeft="20dp"
  78.             android:layout_marginRight="20dp"
  79.             android:background="@mipmap/reload" />
  80.     </LinearLayout>
  81.  
  82.     <LinearLayout
  83.         android:layout_width="match_parent"
  84.         android:layout_height="wrap_content"
  85.         android:gravity="center"
  86.         android:orientation="horizontal"
  87.         android:visibility="gone">
  88.  
  89.         <CheckBox
  90.             android:id="@+id/cb_rememberPassword"
  91.             android:layout_width="wrap_content"
  92.             android:layout_height="wrap_content"
  93.             android:checked="false"
  94.             android:text="@string/rememberPassword"
  95.             android:textColor="@android:color/black"
  96.             android:textSize="20sp" />
  97.     </LinearLayout>
  98.  
  99.     <LinearLayout
  100.         android:layout_width="match_parent"
  101.         android:layout_height="wrap_content"
  102.         android:orientation="horizontal">
  103.  
  104.         <Button
  105.             android:id="@+id/btn_cancel"
  106.             android:layout_width="0dp"
  107.             android:layout_height="45dp"
  108.             android:layout_marginBottom="10dp"
  109.             android:layout_marginLeft="5dp"
  110.             android:layout_marginRight="5dp"
  111.             android:layout_marginTop="5dp"
  112.             android:layout_weight="1"
  113.             android:background="@drawable/button_logout"
  114.             android:text="@string/cancel"
  115.             android:textColor="@android:color/white"
  116.             android:textSize="20sp" />
  117.  
  118.         <Button
  119.             android:id="@+id/btn_login"
  120.             android:layout_width="0dp"
  121.             android:layout_height="45dp"
  122.             android:layout_marginBottom="10dp"
  123.             android:layout_marginLeft="5dp"
  124.             android:layout_marginRight="5dp"
  125.             android:layout_marginTop="5dp"
  126.             android:layout_weight="1"
  127.             android:background="@drawable/button_login"
  128.             android:text="@string/login"
  129.             android:textColor="@android:color/white"
  130.             android:textSize="20sp" />
  131.     </LinearLayout>
  132.  
  133. </LinearLayout>

4.2 设置验证码

当OkHttp成功获取验证码后，会返回的byte[]数据。我们可以通过BitmapFactory提供的decodeByteArray()方法将字节数组转化为Bitmap，但是如果直接将Bitmap设置为ImageView的background，验证码图片会特别小，所以再利用Matrix按比例缩放我们的Bitmap，最后就可以使用setBackground()方法设置ImageView的背景图片了。
 

  1. /**
  2.  * 设置验证码图片
  3.  */
  4. private void setVerificationCodeBg() {
  5.     if (verificationCode != null && verificationCode.length > 0) {
  6.         Bitmap bitmap = BitmapFactory.decodeByteArray(verificationCode, 0,
  7.                 verificationCode.length);
  8.         Bitmap resizeBitmap = changeBitmapSize(bitmap, 140, 60);
  9.         //iv_VerificationCode.setImageBitmap(resizeBitmap);
  10.         iv_VerificationCode.setBackground(new BitmapDrawable(getResources(), 
  11.                 resizeBitmap));
  12.         verificationCode = null;
  13.     } else {
  14.         iv_VerificationCode.setBackgroundResource(R.mipmap.loading_failed);
  15.     }
  16. }
  17.  
  18. /**
  19.  * 用于改变验证码图片尺寸
  20.  */
  21. private Bitmap changeBitmapSize(Bitmap bitmap,float width,float height) {
  22.     int w = bitmap.getWidth();
  23.     int h = bitmap.getHeight();
  24.     Matrix matrix = new Matrix();
  25.     float scaleX = (float) width / w;
  26.     float scaleY = (float) height / h;
  27.     matrix.postScale(scaleX, scaleY);
  28.     Bitmap resizeBitmap = Bitmap.createBitmap(bitmap, 0, 0, w, h, matrix, true);
  29.     return resizeBitmap;
  30. }

4.3 课程背景图
课程背景图通过自定义shape实现corners设置圆角弧度，padding设置了四个方向的间隔，gradient设置了45度的线性渐变。其中一个课程背景如下所示：

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <layer-list xmlns:android="http://schemas.android.com/apk/res/android" >
  3.  
  4.     <item
  5.         android:bottom="1dp"
  6.         android:left="1dp"
  7.         android:right="1dp"
  8.         android:top="1dp">
  9.         <shape>
  10.             <corners android:radius="12dp" />
  11.  
  12.             <padding
  13.                 android:bottom="3dp"
  14.                 android:left="3dp"
  15.                 android:right="3dp"
  16.                 android:top="3dp" />
  17.  
  18.             <gradient
  19.                 android:angle="45"
  20.                 android:endColor="#F72C03"
  21.                 android:startColor="#D348D1"
  22.                 android:type="linear" />
  23.         </shape>
  24.     </item>
  25.  
  26. </layer-list>

这篇文章到这儿就结束了。程序的大部分内容文中都有提及，大家感兴趣的话可以到下方链接下载完整的源代码，不过程序里Constants.java中的请求地址，请求参数等内容是不正确的，需自行修改，如果文中或程序有写得不好的地方欢迎大家提出来，有问题或者有更好的想法，也可以一起讨论。

程序源代码：

【Android+OkHttp3+Jsoup】 模拟登录教务系统 抓取课表和成绩（Android Studio）


————————————————
版权声明：本文为CSDN博主「f清风q」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013347241/article/details/52711018

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/122318
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号