抖音短视频数据抓取实战系列（十一）——Appium与Mitmproxy联合-自动取存抖音用户信息_appnium抓取数据

作者：从前慢现在也慢 | 2024-05-16 07:02:27

踩

appnium抓取数据

抖音短视频数据抓取实战系列（十一）——Appium与Mitmproxy联合-自动取存抖音用户信息

from appium import webdriver
#WebDriverWait用来加入时间判断，有时候控件元素需要过一段时间才会出现
from selenium.webdriver.support.ui import WebDriverWait
import time

num=1

#配置信息
option={
  "platformName": "android",
  "platformVersion": "5.1.0",
  "deviceName": "emulator-5554",
    #自动化测试包名
  "appPackage": "com.ss.android.ugc.aweme",
    #自动化测试Activity

  "appActivity": "com.ss.android.ugc.aweme.splash.SplashActivity",
    #"appActivity": "com.ss.android.ugc.aweme.main.MainActivity",
    #再次启动不需要再次安装
  "noReset": True,
    #unicode键盘 我们可以输入中文
  "unicodekeyboard": True,
    #操作之后还原回原先的输入法
  "resetkeyboard": True
}

#其中的4723就是appium服务启动时的端口号
driver = webdriver.Remote("http://localhost:4723/wd/hub",option)

#得到窗口大小
def get_size():
    x=driver.get_window_size()['width']
    y=driver.get_window_size()['height']
    return x, y

def getuser():
    global num
    size = get_size()
    time.sleep(1)
    try:#上划
        # 定义滑动
        x1 = int(size[0] * 0.5)
        x2 = int(size[0] * 0.7)
        y1 = int(size[1] * 0.9)
        y2 = int(size[1] * 0.2)
        # 模拟滑动
        time.sleep(1)
        driver.swipe(x1, y1, x2, y2)
        print("**第{0}次上划**".format(num))
    except:
        pass

    time.sleep(1)
    try:#左滑
        # 定义滑动
        x1 = int(size[0] * 0.9)
        x2 = int(size[0] * 0.3)
        y1 = int(size[1] * 0.5)
        y2 = int(size[1] * 0.5)
        # 模拟滑动
        time.sleep(1)
        driver.swipe(x1, y1, x2, y2)
        print("**第{0}次左滑**".format(num))
    except:
        pass

    # 点进去具体界面

    time.sleep(1)
    try:
        if WebDriverWait(driver, 5).until(lambda x: x.find_element_by_id('com.ss.android.ugc.aweme:id/l6')):
            # 进入用户信息界面
            print("**抓取第{0}个用户数据**".format(num))
            time.sleep(1)
            driver.find_element_by_id('com.ss.android.ugc.aweme:id/l6').click()  # 返回
            # driver.find_element_by_id('com.ss.android.ugc.aweme:id/bgg').click()#头像
    except:
        pass


time.sleep(10)#延迟十秒运行，主要是博主这边比较卡
for num in range(1,1000):#设置执行测试
    print("————开始执行第{0}次".format(num))
    getuser()
    print("第{0}次执行完成————".format(num))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85

3、监听脚本：

import json
import pymysql
#函数名必须这样写 这是mitmdump规则
def response(flow):
    #下面这个网址是通过fiddler获取到的 但是有些数据我们无法解密，所以需要用mitmdump捕获数据包然后做分析\


    if 'aweme.snssdk.com/aweme/v1/user/profile/other/?' in flow.request.url:
        result=json.loads(flow.response.text)['user']
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print("******************************************************************************")
        print(" ")
        
        user_info= {}
        
        if "nickname" in result:
            user_info["nickname"]=result["nickname"]
        else:
            user_info["nickname"]="伞梦"
            
        if "signature" in result:
            user_info["signature"]=result["signature"]
        else:
            user_info["signature"]="大家好。"
            
        if "uid" in result:
            user_info["uid"]=result["uid"]
        else:
            user_info["uid"]="-1"

        db = pymysql.connect("localhost", "root", "1234", "database", charset='utf8mb4')
        # 使用cursor()方法获取操作游标
        cursor = db.cursor()
        # SQL 插入语句
        sql = """INSERT INTO usertest(nickname,
                 uid, signature)
                 VALUES ('{0}', '{1}','{2}')""".format(user_info['nickname'], user_info['uid'],user_info['signature'])
        #user_info['nickname'], user_info['uid'],user_info['signature']
        try:
            # 执行sql语句
            cursor.execute(sql)
            print(sql)
            print("success")
            # 提交到数据库执行
            db.commit()
        except Exception as e:
            print("error")
            # Rollback in case there is any error
            print(e)
            db.rollback()
        # 关闭数据库连接
        db.close()


        #有的用户修改了抖音号
        print(user_info)
        print(" ")
        print("******************************************************************************")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")

4、开启Appium服务。
![在这里插入图片描述](https://img-blog.csdnimg.cn/2020122111431126.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2Mjg4NTU5,size_16,color_FFFFFF,t_70)
5、mitmdump -p 8900 --set block_global=false  -s teacher.py开启Mitmproxy监听服务，附带监听脚本，在监听脚本父级运行。
```python
mitmdump -p 8900 --set block_global=false  -s teacher.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73

在这里插入图片描述
6、运行自动化脚本。

7、自动化抓取过程中。

8、这是程序运行一段时间，抓取的抖音用户数据。
在这里插入图片描述

至此，抖音短视频数据抓取实战系列已经结束，感谢大家的阅读，学习与支持，如在学习过程中存在什么疑问，欢迎大家前来交流~~
——————谢谢——————

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/577403