Python制作模拟按键摘录，pyautogui库及该库在某些窗口不生效的问题部分解决措施（PyDirectInput库、winio驱动级模拟）

文章目录

• • @[toc]
• 一、使用pyautogui库
• • 1、安装pyautogui库
  • 2、导入并在py中使用
  • • (1) 导包
    • （2）基本鼠标控制
    • （3）基本键盘控制
    • （4）屏幕截图
    • （5）图片位置识别
  • 3、存在问题
• 二、 使用PyDirectInput库解决某些游戏窗口不生效的问题
• 三、winio硬件驱动级模拟方式
• • 1、安装配置
  • • （1）环境设置
    • （2）安装rabird.winio环境
  • 2、使用示例
• 四、按键监听
• • 1、Keyboard库

一、使用pyautogui库

原文出处：https://blog.csdn.net/qq_61260911/article/details/129885971

1、安装pyautogui库

安装pyautogui库，可以通过pip命令安装：

pip install pyautogui
1

安装完成后，就可以开始使用pyautogui库了。

2、导入并在py中使用

(1) 导包

import pyautogui

pyautogui.typewrite('Hello world!')
1
2
3

上述代码将模拟键盘输入“Hello world!”。

（2）基本鼠标控制

PyAutoGUI可以模拟鼠标的点击和移动。以下是一些基本操作：
moveTo(x, y)：将鼠标移动到屏幕上的指定位置。
click(x=None, y=None, button=‘left’)：在指定位置单击鼠标左键、右键或中键。
doubleClick(x=None, y=None, button=‘left’)：在指定位置双击鼠标左键、右键或中键。
rightClick(x=None, y=None)：在指定位置单击鼠标右键。
middleClick(x=None, y=None)：在指定位置单击鼠标中键。
dragTo(x, y, duration=0.5)：将鼠标拖动到指定位置。’

例如：

# 将鼠标移动到屏幕中央
pyautogui.moveTo(pyautogui.size()[0]/2, pyautogui.size()[1]/2)
# 在屏幕中央单击鼠标左键
pyautogui.click()
1
2
3
4

获取鼠标当前位置坐标

x, y = pyautogui.position()
print(f"鼠标当前位置：{x}, {y}")
1
2

（3）基本键盘控制

typewrite(message, interval=0.1)：将字符串输入到键盘，可以设置键入每个字符的时间间隔。
press(key)：按下指定的键。
release(key)：释放指定的键。
hotekey(‘ctrl’,key):：按下组合键

例如：

pyautogui.press('a')
# 模拟释放键盘的A键
pyautogui.release('a')
#组合键
pyautogui.hotkey('ctrl','v')
1
2
3
4
5

（4）屏幕截图

该包还包含截取图像操作，具体使用如下。

screenshot()：截取屏幕上的图像，并返回PIL图像对象。

# 截取整个屏幕
screenshot = pyautogui.screenshot()
# 截取指定范围
imag=pyautogui.screenshot(region=(0, 0, 300, 400))#（x,y,w,h）4个点的位置
1
2
3
4

（5）图片位置识别

PyAutoGUI可以识别图片所在的位置.

img_path='location.png'
location=pyautogui.locateOnScreen(img_path)
print(location)
1
2
3

但是很多时候图片识别不到，返回None，这个时候就要对识别参数进行设置
confidence 是一个可选参数，表示搜索图像时所需的置信度或准确度。它是一个介于0到1之间的浮点数，表示函数在搜索图像时所需的匹配准确度。值越高，匹配准确度就越高，但搜索速度可能会变慢。值越低，则匹配准确度可能会降低，但搜索速度会更快。

例如，当设置confidence为0.5时，函数将会搜索与给定图像相匹配的区域，并且只有当置信度大于等于0.5时，函数才会返回该区域的位置。因此，confidence的值可以影响函数的性能和准确性，取决于您所需要的搜索结果的精度和速度。

pyautogui.locateOnScreen(confidence=0.5)
1

3、存在问题

（1）pyautogui库在某些游戏窗口中可能不生效的问题，可尝试第二章方式。
（2）在某些窗口键盘操作需要以管理员运行py脚本。

二、 使用PyDirectInput库解决某些游戏窗口不生效的问题

原文链接：https://learncodebygaming.com/blog/pyautogui-not-working-use-directinput

那么为什么 PyAutoGUI 不适用于某些视频游戏呢？在 Windows 上，PyAutoGUI 使用稍旧的、略微弃用的 Windows API 来模拟鼠标和键盘输入。通常这很好，但是当您与大量使用 DirectX 的程序交互时，就像大多数 3D 视频游戏一样，您可能会遇到问题。如果您不知道 DirectX 是什么，它只是由 Microsoft 编写的库和 API 的集合，用于简化视频游戏开发。它非常成功，这基本上就是 Windows 主导 PC 游戏的原因。 DirectX 的子集之一是 DirectInput。 DirectInput 基本上是视频游戏开发人员在处理游戏的用户输入时使用的更简单、更强大的界面。很多时候，游戏开发者会选择只支持 DirectInput，因为它的开发较少而且玩家不太可能注意到。

因此，为了解决我们遇到的问题，我们只需要让 PyAutoGUI 使用 DirectInput Windows API，而不是它当前使用的 API。所以我写了一个 Python 包来做到这一点。我称它为 PyDirectInput。为了准确了解 PyAutoGUI
做错了什么，以及我的库如何修复它，让我向您阅读 README 的开头段落，然后我将向您展示如何在实践中使用它。

您只需使用以下命令安装 PyDirectInput： pip install pydirectinput

如果你有一个像这样的简单 PyAutoGUI 脚本：

import pyautogui 
import time   
time.sleep(4)
 pyautogui.keyDown('w')
time.sleep(1) 
pyautogui.keyUp('w')
1
2
3
4
5
6

您只需将 pyautogui 替换为 pydirectinput 即可使用 DirectInput
游戏。我已经使两个项目之间的所有函数声明都相同，因此您可以轻松地在它们之间进行交换。

import pyautogui
import pydirectinput
import time
time.sleep(4)
pydirectinput.keyDown('w')
time.sleep(1)
pydirectinput.keyUp('w')
1
2
3
4
5
6
7

我还没有在 PyDirectInput 中实现 PyAutoGUI 的所有功能。您应该继续使用 PyAutoGUI
的所有屏幕阅读功能。另一个大问题是持续时间的鼠标移动，它在屏幕上缓慢移动光标，我还没有实现。当您使用 PyDirectInput 中的
moveTo() 功能时，它会立即跳转到屏幕上的那个位置。在 README 中，我已经注意到我没有时间移植的所有功能。

因此，如果您需要这些缺失的任何功能，这是参与开源项目的绝佳机会。当您有工作时向我发送拉取请求，或者如果您需要帮助，我很乐意与您合作。如果您在此之前从未为开源做出过贡献，那么这应该是一种非常友好的进入方式，因为您可以查看所有
PyAutoGUI 源代码，并且可以参考我已经完成的工作，所以它应该只是大量的复制/粘贴并填写空白类型的东西。当然还有测试。

三、winio硬件驱动级模拟方式

在个别游戏应用窗口普通模拟按键方式均失效，可尝试硬件模拟方式，类似于“按键精灵”应用中Setsimmode = 1的设置。该方式需要主板支持PS2（圆口）键鼠。

参考原文：https://blog.csdn.net/qq_38316721/article/details/128747370

1、安装配置

（1）环境设置

电脑需要主板支持PS2（圆口）键鼠。
设置系统的“禁止驱动程序强制签名”，详细步骤可另行搜索，大致可概括为：设置->恢复->高级启动（立即重新启动）->重启后选择疑难解答->高级选项->启动设置->点击重启按钮->按指引选择。
该方式仅当前这次启动生效。

（2）安装rabird.winio环境

1、终端下执行pip install rabird.winio
2、启动后进入存储该包的目录“\Python\Python36\Lib\site-packages\winiobinary\data\3.0”，每个人的电脑可能不一样，按照以下提示操作。

右键WinIO64.sys，选择属性-数字签名
选择签名点击详细信息
3.点击查看证书
4.点击安装证书

5.点击下一步
6.浏览选择受信任的根证书颁发机构
7.直接下一步然后完成

2、使用示例

使用以下代码并引用相关函数实现具体功能。
例如：key_press（scancode）为按下某按键，其中scancode为键盘扫描码，大小为一个字节，通常两位16进制表示。

具体对应的扫描码可见：https://doc.wendoc.com/bcff0538d279995979873e7a4.html

import rabird.winio
import time
import atexit

# KeyBoard Commands
# Command port
KBC_KEY_CMD = 0x64
# Data port
KBC_KEY_DATA = 0x60

__winio = None


def __get_winio():
    global __winio

    if __winio is None:
        __winio = rabird.winio.WinIO()

        def __clear_winio():
            global __winio
            __winio = None

        atexit.register(__clear_winio)

    return __winio


def wait_for_buffer_empty():
    '''
    Wait keyboard buffer empty
    '''

    winio = __get_winio()

    dwRegVal = 0x02
    while (dwRegVal & 0x02):
        dwRegVal = winio.get_port_byte(KBC_KEY_CMD)


def key_down(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    scancode = int(scancode)
    winio.set_port_byte(KBC_KEY_DATA, scancode)


def SPkey_down(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, 0xe0)
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, scancode)


def key_up(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    scancode = int(scancode)
    winio.set_port_byte(KBC_KEY_DATA, scancode | 0x80);


def SPkey_up(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, 0xe0)
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, scancode | 0x80)


def mouse_down():
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd3);
    wait_for_buffer_empty();
    winio.set_port_dword(KBC_KEY_DATA, 0x09)


def mouse_up():
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd3);
    wait_for_buffer_empty();
    winio.set_port_dword(KBC_KEY_DATA, 0x08)


def key_press(scancode, press_time=0.05):
    key_down(scancode)
    time.sleep(press_time)
    key_up(scancode)
    time.sleep(press_time)


def SPkey_press(scancode, press_time=0.05):
    SPkey_down(scancode)
    time.sleep(press_time)
    SPkey_up(scancode)
    time.sleep(press_time)


def mouse_clicked(clicked_time=0.05):
    mouse_down()
    time.sleep(clicked_time)
    mouse_up()
    time.sleep(clicked_time)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123

四、按键监听

1、Keyboard库

该库可以实现键盘的监听，可通过pip install keyboard安装。（他的父类库 pynput 可以实现鼠标监听）

keyboard.wait('a')
# 监听等待键盘按下 指定 键 ，只有按下指定键才会执行后续代码。不然程序会一直处于阻塞状态。
 
keyboard.wait()  # 其值为空时会进入永久性的阻塞状态
 
keyboard.add_hotkey(hotkey='q', callback=print, args=('b',))
# 添加热键监听任务，监听的热键可以是任何值或者组合值，当监听到指定键时调用callback函数，args是可选的，调用函数并将指定值传进去
 
 
a = keyboard.KeyboardEvent('down', 28, 'enter')
# 封装一个键盘事件，可用于后续对比想要的键盘事件
print(a.name)  # 触发键的名称
print(a.time)  # 触发键的时间
print(a.event_type)  # 触发键的类型(down/up)按下/松开
print(a.scan_code)  # 触发键的代码
 
 
 
keyboard.hook(lambda x: print(x))
# 监听所有键，当任意键按下或松开时都会调用一次指定函数，并且将此次按下或松开的键的状态传递给被调函数
 
keyboard.on_press(lambda x: print(x))
# 监听所有键，当任意键按下或长按(一直触发指定函数)时都会调用一次指定函数，并且将此次按下的键的状态传递给被调函数
 
# 配合无限等待使得程序不终止，一直监听热键。
keyboard.wait()
# wait里也可以设置按键，说明当按到该键时结束
 
recorded = keyboard.record(until='esc')
# # 程序进入阻塞，直到按下 esc 键才会结束这句代码的调用，并且返回监听其间按下的所有键盘的键
print(recorded)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31