uiautomation、pytest、schedule实现桌面程序自动化（初级）02_python uiautomation inspect.exe

 一：安装uiAutomation

前置条件:安装python、pycharm

命令行安装

Pip install uiautomation==2.0.17       #指定版本           

二：安装辅助工具：inspect.exe和、Accessibility Insights For Windows定位元素工具

辅助工具介绍

步骤中提到了一个工具 --- 「Inspect.exe」 ，该工具是一个图形用户界面 (GUI) 应用程序，可用于收集用于提供程序和客户端开发和调试的 UI 自动化信息，它包含在 Windows SDK 中。

Inspect（Inspect.exe）是一个基于Windows的工具，允许您选择任何UI元素并查看元素的可访问性数据。您可以查看Microsoft UI自动化属性和控制模式，以及Microsoft活动辅助功能属性。Inspect还允许您测试UI自动化树中自动化元素的导航结构，以及Microsoft活动辅助功能层次结构中的可访问对象。

（1）步骤1：安装windows sdk

Windows SDK - Windows 应用开发 | Microsoft Developer

点击下载安装程序-下载

步骤2：打开

目录：C:\Program Files (x86)\Windows Kits\10\bin\10.0.22621.0\x64

默认安装路径：

有windows要求，我的是windows10 专业版 不支持

C:\Users\admin>pip install PyTimer

元素定位工具 inspect：

下载：

pip install schedule

schedule任务调度模块

可以按照秒、时、分、日期或者自定义事件执行事件

步骤四：安装定位工具推荐

Accessibility Insights For Windows

下载：Accessibility Insights Downloads

四：实战代码

UIautomation进行简单的桌面程序自动化

1. 读取excel数据，实现一个方法使用多个数据

2. from xToolkit import xfile
   
   import yaml
   
   
   
   
   
   class GetData(object):
   
       # pip install xToolkit -i https://mirrors.aliyun.com/pypi/simple/
   
       # from xToolkit import xfile
   
       # 获取用户数据 20230718补充  最简单 一句代码
   
       # 注意：xtoolkit只支持xls，不支持xlsx
   
       def get_data_excel(self, datafile):
   
           # 读取excel数据，并将数据转换为excel
   
           dataMsg = xfile.read(datafile).excel_to_dict()
   
           return dataMsg
   
   
   
       # 获取修改用户资料页面元素
   
       def editinfo_page_element(self):
   
           pass
   
           # 获取登录页面元素
   
           # 读取yaml文件
   
   
   
           # 1、大小写敏感
   
           #
   
           # 2、使用缩进表示层级关系
   
           #
   
           # 3、缩进的空格数目不重要，只要相同层级的元素左侧对齐即可，通常开头缩进两个空格
   
           #
   
           # 4、不支持Tab键制表符缩进，只使用空格缩进
   
           #
   
           # 5、字符后缩进一个空格，如冒号，逗号，短横杆（-)等
   
           #
   
           # 6、"—“表示YAML格式，一个文件的开始，用于分隔文件间
   
           #
   
           # 7、”  # ”表示注释 （yaml文件只有行注释）
   
   
   
       def getDateyaml(self, page_file):
   
           with open(page_file, 'r', encoding='utf-8') as f:
   
               element = yaml.safe_load(f)
   
           return element

2、uiautomation、pytest、Schedule定时器的使用

使用代码：

"""
@Time  :2024/3/2811:46

@Auth  :

@File  :MMAutomation.py
"""
import pytest
import pyautogui
import schedule
from datetime import datetime

from model.Get_Data import GetData
import os
import subprocess
import uiautomation
import time
from threading import Timer

uiautomation.uiautomation.DEBUG_SEARCH_TIME = True
uiautomation.uiautomation.SetGlobalSearchTimeout(20)  # 设置全局搜索超时时间
# 全局变量，用于跟踪任务执行的次数
task_count = 0
max_task_count = 5  # 设置任务最多执行5次



class TestProject():
    def openWindow(self):
        try:

            windowName = "MiniTool MovieMaker 7.3.0 - (Ultimate)"
            self.MMWindow = uiautomation.WindowControl(searchDepth=1, Name=windowName)  # 定位窗体
            # 判断程序窗口是否存在
            if self.MMWindow.Exists(maxSearchSeconds=1):
                print(self.MMWindow)
            else:
                print("窗口不存在")
                path = r"C:\\Program Files\\7.3MiniTool MovieMaker7.3\\bin\\MiniTool MovieMaker.exe"
                subprocess.Popen(path)
                time.sleep(10)
                self.MMWindow = uiautomation.WindowControl(searchDepth=1, Name=windowName)  # 定位窗体

            # self.MMWindow.MoveToCenter()  # 窗体居中显示
            self.MMWindow.SetActive()  # 激活窗口
            # self.MMWindow.SetTopmost(True)  # 程序置顶显示
            return self.MMWindow
        except Exception as exx:
            raise (str(exx))
    bathP = os.path.abspath(os.path.join(os.getcwd(), ".."))
    filePath = os.path.join(bathP, r"data\ExportData.xls")
    exportMsg = GetData().get_data_excel(filePath)
    print(exportMsg)

    # 导出
    # 操作步骤 点击导出-输入文件名-输入导出地址-选择格式-选择分辨率-选择帧率-导出
    @pytest.mark.parametrize("exportMsg", exportMsg)
    def test_Export(self, exportMsg):
        # MMWindow=self.MMWindow()
        self.openWindow()
        exportButton = self.MMWindow.ButtonControl(AutomationId="btnExport", desc="点击导出")  # 导出
        print("导出", exportButton)
        if exportButton.Exists() == True:
            exportButton.Click(waitTime=0.1)
        time.sleep(2)
        self.MMWindow.Refind()
        exportWindow = self.MMWindow.WindowControl(Name="Export", desc="导出窗口", searchDepth=1)
        if exportWindow.Exists() == True:
            print("进入导出界面")
        else:
            print("未正确获取导出界面", exportWindow)
        # 输入导出文件名
        FileName = exportMsg["FileName"]  # 文件名
        exportPath = exportMsg["saveToPath"]  # 文件保存路径
        Format = exportMsg["cboFormat"]  # 选择格式
        Resolution = exportMsg["cmbResolution"]  # 选择分辩率
        FameRate = exportMsg["cmbFameRate"]  # 帧率
        fameRateDesc = exportMsg["fameRateDesc"]  # 帧率描述
        formatDesc = exportMsg["formatdesc"]  # 格式描述
        print("导出名字：{} \n 文件保存路径:{},选择格式:{}\n选择分辩率:{}\n帧率描述:{}\n帧率{}" \
              .format(FileName, exportPath,
                      Resolution,
                      Format,
                      fameRateDesc, FameRate))

        try:
            ## 获取EditControl支持的ValuePattern，并用Pattern设置控件文本为"输入文件名
            exportWindow.EditControl(foundIndex=1, desc="name").GetValuePattern().SetValue(FileName)
            # 输入导出路径
            # searchDepth 搜索第一个满足条件的控件 foundIndex: exportWindow在导出窗体下editcontrol控件的第二个，fondindex的索引从1
            exportWindow.EditControl(foundIndex=2, desc="saveTo").GetValuePattern().SetValue(exportPath)
        except uiautomation.comtypes.COMError as ex:
            # 如果遇到COMError, 一般是没有以管理员权限运行Python, 或者这个控件没有实现pattern的方法(如果是这种情况，基本没有解决方法)
            pass
        # 格式
        cboFormat = exportWindow.ComboBoxControl(AutomationId="cboFormat", desc="格式", searchDepth=1)
        formatList = ["MP4"]
        cboFormat.Click(waitTime=1)
        cboFormat.ListItemControl(Name=Format, searchDepth=1, desc=formatDesc).Click(waitTime=0.1)
        # 像素
        time.sleep(1)
        cmbResolution = exportWindow.ComboBoxControl(AutomationId="cmbResolution", desc="像素")
        cmbResolution.Click(waitTime=1)
        cmbResolution.ListItemControl(Name=Resolution, searchDepth=1).Click(waitTime=0.1)

        # 帧率
        cmbFameRate = exportWindow.ComboBoxControl(AutomationId="cmbFameRate", desc="帧率", searchDepth=1)
        cmbFameRate.Click(waitTime=1)
        # 选择帧率
        cmbFameRate.ListItemControl(Name="MovieMaker.ExportModule.ViewModels.FameRateConfig", foundIndex=int(FameRate),
                                    desc=fameRateDesc) \
            .Click(waitTime=1)

        # 点击导出
        exportMedia = exportWindow.ButtonControl(AutomationId="btnExport", ClickablePoint="{x:1425 y:750}",
                                                 desc="导出")
        exportMedia.Click(waitTime=1)
        # 正在导出
        if exportWindow.TextControl(Name="Exporting...", desc="正在导出。。").Exists() == True:
            print("正在导出中")
        # ExportResult(self): 关闭导出完成窗口
        self.ExportResult(exportWindow)

    # 导出成功后关闭导出
    def ExportWindowCloseTask(self):
        global task_count
        task_count += 1
        print('执行次数', task_count)
        print("现在执行导出的任务")
        exportResultWindow = self.MMWindow.WindowControl(AutomationId="exportResultWindow", desc="导出完成")
        if exportResultWindow.Exists() == True:
            print("导出")
            exportResultWindow.ButtonControl(AutomationId="buttonClose", desc="关闭导出窗口").Click(waitTime=1)
        else:
            e = datetime.now()
            exportTimeing = e.strftime("%Y-%m-%d %H:%M:%S")
            print("未导出完成，正在导出,现在时间", exportTimeing)
        if task_count > max_task_count:
            print("达到了最大执行次数，停止任务")
            print("导出超时")
            self.MMWindow.CaptureToImage("exportImage.png")
            schedule.clear("ExportWindowCloseTask")

    def ExportResult(self, exportWindow):
        # 导出成功后关闭导出窗口，定时执行导出关闭界面任务
        taskTime = 1  #
        # CloseTask=schedule.every(taskTime).minutes.do(self.ExportWindowCloseTask)#每隔5分钟定时执行，满足条件后停止任务
        TaskClose = schedule.every(10).seconds.do(self.ExportWindowCloseTask)  # 间隔5秒执行任务
        now = datetime.now()
        startTime = now.strftime("%Y-%m-%d %H:%M:%S")
        print("开始时间", str(startTime))
        while True:
            exportResultWindow = self.MMWindow.ButtonControl(AutomationId="exportResultWindow", desc="导出结果窗口",
                                                             searchDepth=1)
            if not exportWindow.Exists() and not exportResultWindow.Exists():
                EndT = datetime.now()
                EndTime = EndT.strftime("%Y-%m-%d %H:%M:%S")
                print("结束时间", EndTime)
                print('执行时间', (EndT - now).total_seconds())
                self.MMWindow.CaptureToImage("exportImageOK" + EndTime + ".png")  # 截图
                # 清空任务，关闭任务
                schedule.clear()
                schedule.CancelJob()
                break
            # 如导出窗口存在，继续执行
            schedule.run_pending()
            time.sleep(1)


# 关闭程序，回收对象，释放资源
"""
def __del__(self):
self.MMWindow.ButtonControl(Name="暂停").Click()#例如音乐暂停
self.MMWindow.ButtonControl(Name="关闭").Click()#单击关闭按钮
self.MMWindow.GetWindowPattern().Close()#关闭当前程序
"""

if __name__ == '__main__':
    path = r"C:\Program Files\MiniTool MovieMaker\bin\Launcher.exe"
    # tp = TestProject()
    # # tp.testImport()
    # tp.TestExport()

    pytest.main(['-vs', 'TestExportHF.py'])