初识UI自动化（inspect.exe + uiautomation）

目录

一、前言

二、具体内容

inspect.exe讲解

Options（选项栏）

Toolbar（工具栏） 

uiautomation讲解

三、总结

---

 

一、前言

        笔者最近也在学习关于uiautomation的相关小项目，不过在做这些自动化之前，需要首先获取你需要操作的元素的相关信息，比如：鼠标点击事件、键盘输入事件，快捷键操作。 目前获取需要操作的元素的相关信息的软件有许多，如UIspy.exe，inspect.exe，Insight.exe等等。下文中以inspect.exe为例。

补充：如果需要Insight.exe，请点这里。

二、具体内容

参考文献：

辅助功能工具 - 检查 - Win32 apps | Microsoft Docs

https://github.com/yinkaisheng/Python-UIAutomation-for-Windows/blob/master/readme_cn.md

 

inspect.exe讲解

" 检查 "窗口有几个主要部分：

• 标题栏。 显示" 检查 HWND (窗口句柄) 。
• 菜单栏。 提供对 检查功能 的访问权限。
• 工具 栏。 提供对 检查功能 的访问权限。
• 树视图。 将 UI 元素的层次结构呈现为树视图控件，可用于在元素之间导航。
• 数据视图。 显示所选 UI 元素的所有公开辅助功能属性。

 

菜单栏中提供的命令也可在工具栏中使用。 下图展示了 Inspect 工具，用于查询记事本中 “编辑” 菜单元素的 UI 自动化属性。

Options（选项栏）

---

Toolbar（工具栏） 

1：Refresh，刷新Tree View（树视图）

2：Copy Text to Clipboard，复制Data View（数据视图）的文本到剪切板

3：Show Settings Dialog，显示Options的Settings

4：剩下的重要按钮在Options中已经讲到，就不再重述了。

 

uiautomation讲解

uiautomation根据你提供的控件属性在控件树中从上往下查找控件。

假设控件树如下：

root(Name='Desktop', Depth=0)
　　window1(Depth=1)
　　　　control1-001(Depth=2)
　　　　control1-...(Depth=2)
　　　　...
　　　　control1-100(Depth=2)
　　window2(Name='window2', Depth=1)
　　　　control2-1(Depth=2)
　　　　　　control2-1-001(Depth=3)
　　　　　　control2-1-...(Depth=3)
　　　　　　...
　　　　　　control2-1-100(Depth=3)
　　　　control2-2(Depth=2)
　　　　control2-3(Depth=2)
　　　　control2-4(Name='2-4', Depth=2)
　　　　　　editcontrol(Name='myedit1', Depth=3)
　　　　　　editcontrol(Name='myedit2', Depth=3)

如果你想找到名字为myedit2的EditControl，并在这个EditControl打字，你可以这样写：

uiautomation.EditControl(searchDepth=3, Name='myedit2').SendKeys('hi')

但是这个代码运行效率并不高，因为控件树中有很多控件，你所查找的EditControl在树的末尾， 从树根部搜索整个控件树需要遍历200多次才能找到这个EditControl， 如果用分层查找并指定查找深度，就可以只查找几次，很快就能找到控件。

代码如下:

window2 = uiautomation.WindowControl(searchDepth=1, Name='window2')#search 2 times
sub = window2.Control(searchDepth=1, Name='2-4')# search 4 times
edit = sub.EditControl(searchDepth=1, Name='myedit2')# search 2 times
edit.SendKeys('hi')

先在root的第一层子控件中查找window2，需要查找2次。 再在window2的第一层子控件中查找control2-4，需要查找4次。 最后在control2-4的第一层子控件中查找myedit2，需要查找2次。 总共需要查找8次就能找到控件。

此外，在控件的__init__函数中，有下列参数可以使用：
        searchFromControl = None, 从哪个控件开始查找，如果为None，从根节点Desktop开始查找
        searchDepth = 0xFFFFFFFF, 搜索深度
        searchInterval = SEARCH_INTERVAL, 搜索间隔
        foundIndex = 1 ，搜索到的满足搜索条件的控件索引，索引从1开始
        Name 控件名字
        SubName 控件部分名字
        RegexName 使用re.match匹配符合正则表达式的名字，Name,SubName,RegexName只能使用一个，不能同时使用
        ClassName 类名字
        AutomationId 控件AutomationId
        ControlType 控件类型
        Depth 控件相对于searchFromControl的精确深度
        Compare 自定义比较函数function(control: Control, depth: int)->bool

重点如下： 

searchDepth和Depth的区别是：

searchDepth: int, max search depth from searchFromControl.

searchDepth在指定的深度范围内（包括1~searchDepth层中的所有子孙控件）搜索第一个满足搜索条件的控件

Depth: int, only search controls in relative depth from searchFromControl, ignore controls in depth(0~Depth-1),if set, searchDepth will be set to Depth too.

Depth只在Depth所在的深度（如果Depth>1，排除1~searchDepth-1层中的所有子孙控件）搜索第一个满足搜索条件的控件

 

三、总结

         在学习ui自动化的时候，inspect.exe的学习与使用可以大大减少你找你要操作的元素位置的时间。

        笔者最近也在学uiautomation的相关知识，要学习后续内容，以上知识的掌握必不可少，笔者也只是将参考文献中重要内容进行提取展示。之后笔者会更新一些关于uiautomation的小案例，敬请期待！