当前位置:   article > 正文

python操作windows桌面实现鼠标、键盘操作,python之pyautogui库文档详解_python win102com操作鼠标

python win102com操作鼠标

一、概述

1、概述

PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,多平台支持(Windows,OS X,Linux)。

源码地址:https://github.com/asweigart/pyautogui

官方文档:https://github.com/asweigart/pyautogui/blob/master/docs/simplified-chinese.ipynb

PyAutoGUI可以模拟鼠标的移动、点击、拖拽,键盘按键输入、按住操作,以及鼠标+键盘的热键同时按住等操作,可以说手能动的都可以。

PyAutoGUI支持Python 2.x和Python 3.x。

2、安装

# Windows:PyAutoGUI没有任何依赖,因为它用Python的ctypes模块所以不需要pywin32
pip install pyautogui

# OS X:PyAutoGUI需要PyObjC运行AppKit和Quartz模块。这个模块在PyPI上的按住顺序是pyobjc-core和pyobjc
sudo pip3 install pyobjc-core
sudo pip3 install pyobjc
sudo pip3 install pyautogui

# Linux:PyAutoGUI需要python-xlib(Python 2)、python3-Xlib(Python 3)
sudo pip3 install python3-xlib
sudo apt-get scrot
sudo apt-get install python-tk
sudo apt-get install python3-dev
sudo pip3 install pyautogui```
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

在python中引入(后续示例代码中,不会再额外贴出import代码):

import pyautogui
  • 1

二、屏幕操作

1、获取屏幕分辨率

# 获取屏幕分辨率(宽高) Size(width=1920, height=1080)
screenWidth, screenHeight = pyautogui.size()
  • 1
  • 2

2、某个坐标是否在屏幕上

#  (x,y)是否在屏幕上
x, y = 122, 244
pyautogui.onScreen(x, y)
  • 1
  • 2
  • 3

3、获取当前鼠标位置

# Point(x=1184, y=744)
pyautogui.position()
  • 1
  • 2

4、获取屏幕指定位置的颜色

返回一个三元组,表示指定位置的像素颜色值,以RGB格式返回。

# 参数:横坐标、竖坐标,从屏幕左上角开始
color = pyautogui.pixel(100, 200)
print(color) # (248, 248, 248)
  • 1
  • 2
  • 3

5、校验屏幕指定位置的颜色

# x:要检查像素颜色的横坐标。
# y:要检查像素颜色的纵坐标。
# expectedColor:一个三元组,表示期望的像素颜色值,以RGB格式表示。例如,(255, 0, 0)表示红色。
# tolerance(可选):容忍度,表示颜色匹配的容忍程度。默认值为0,表示完全匹配。
# 返回值: 返回布尔值,表示指定位置的像素颜色是否与给定颜色匹配。
pyautogui.pixelMatchesColor(x, y, expectedColor, tolerance=0)

result = pyautogui.pixelMatchesColor(100, 200, (255, 0, 0))
print(result) # False
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

三、鼠标操作

屏幕位置使用X和Y轴的笛卡尔坐标系。原点(0,0)在左上角,分别向右、向下增大。

如果屏幕像素是1920 * 1080,那么右下角的坐标是(1919, 1079)

1、移动鼠标

moveTo()函数会把鼠标光标移动到指定的XY轴坐标处。如果传入None值,则表示使用当前光标的对象轴坐标值。

pyautogui.moveTo(100, 200)     # 光标移动到(100, 200)位置
pyautogui.moveTo(None, 500)   # 光标移动到(100, 500)位置
pyautogui.moveTo(600, None)   # 光标移动到(600, 500)位置
  • 1
  • 2
  • 3

一般鼠标光标都是瞬间移动到指定的位置,如果你想让鼠标移动的慢点,可以设置持续时间:
默认的持续时间pyautogui.MINIMUM_DURATION是0.1秒,如果你设置的时间比默认值还短,那么就会瞬间执行。

pyautogui.moveTo(100, 200, duration=2)     # 用2秒把光标移动到(100, 200)位置
  • 1

如果你想让光标以当前位置为原点,进行相对移动,就用pyautogui.moveRel()函数。例如:


pyautogui.moveTo(100, 200) #把光标移动到(100, 200)位置
pyautogui.moveRel(0, 50)   #向下移动50
pyautogui.moveRel(30, 0, 2)   #向右移动30
pyautogui.moveRel(30, None)   #向右移动30

#  用num_seconds秒的时间把光标的X轴(水平)坐标移动xOffset,
#  Y轴(竖直)坐标向下移动yOffset。
xOffset, yOffset = 50, 100
pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)

#  用缓动/渐变函数让鼠标2秒后移动(500,500)位置
pyautogui.moveRel(500, 500, duration=2, tween=pyautogui.easeInOutQuad)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

2、点击操作

为了操作方便,PyAutoGUI提供了doubleClick(),tripleClick()和rightClick()来实现双击、三击和右击操作。

# 在鼠标位置单击
pyautogui.click()
# 在鼠标位置双击
pyautogui.doubleClick()

# click()函数就是让鼠标点击,默认是单击左键,参数可以设置:button属性可以设置成left,middle和right
pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

#如果单机之前要先移动,可以把目标的XY坐标值传入函数:
#  先移动到(100, 200)再单击
pyautogui.click(x=100, y=200, duration=2)

# 所有的点击都可以用这个函数,不过下面的函数可读性更好:
pyautogui.rightClick(x=moveToX, y=moveToY)
pyautogui.middleClick(x=moveToX, y=moveToY)
pyautogui.doubleClick(x=moveToX, y=moveToY)
pyautogui.tripleClick(x=moveToX, y=moveToY)

# 可以通过button参数设置left,middle和right三个键。例如:
pyautogui.click(button='right')

# 要做多次单击可以设置clicks参数,还有interval参数可以设置每次单击之间的时间间隔。例如:
#  双击左键
pyautogui.click(clicks=2)
#  两次单击之间停留0.25秒
pyautogui.click(clicks=2, interval=0.25)
#  三击右键
pyautogui.click(button='right', clicks=2, interval=0.25)


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

mouseDown()和mouseUp()函数可以实现鼠标按下和鼠标松开的操作。两者参数相同,有x,y和button。例如:

# 鼠标每个按键按下和松开两个事件可以分开处理:
pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')
pyautogui.mouseUp(x=moveToX, y=moveToY, button='left')
#  鼠标左键按下再松开
pyautogui.mouseDown(); pyautogui.mouseUp() 
#  按下鼠标右键
pyautogui.mouseDown(button='right') 
#  移动到(100, 200)位置,然后松开鼠标右键
pyautogui.mouseUp(button='right', x=100, y=200) 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

3、滚轮操作

鼠标滚轮滚动可以用scroll()函数和clicks次数参数来模拟。不同平台上的clicks次数不太一样。还有x和y参数可以在滚动之前定位到(x, y)位置。例如:

# scroll函数控制鼠标滚轮的滚动,amount_to_scroll参数表示滚动的格数。正数则页面向上滚动,负数则向下滚动:
pyautogui.scroll(clicks=amount_to_scroll, x=moveToX, y=moveToY)
#  向上滚动10格
pyautogui.scroll(10)
#  向下滚动10格
pyautogui.scroll(-10)
#  移动到(100, 100)位置再向上滚动10格
pyautogui.scroll(10, x=100, y=100)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

在OS X和Linux平台上,PyAutoGUI还可以用hscroll()实现水平滚动。例如:

#  向右滚动10格
pyautogui.hscroll(10)
#  向左滚动10格
pyautogui.hscroll(-10)
  • 1
  • 2
  • 3
  • 4

scroll()函数是vscroll()的一个包装(wrapper),执行竖直滚动。

4、记录光标小程序

# ! python 3
import pyautogui
print('Press Ctrl-C to quit')
try:
    while True:
        x, y = pyautogui.position()
        positionStr = 'X: {} Y: {}'.format(*[str(x).rjust(4) for x in [x, y]])
        print(positionStr, end='')
        print('\b' * len(positionStr), end='', flush=True)
except KeyboardInterrupt:
    print('\n')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

5、鼠标拖拽

PyAutoGUI的dragTo()和dragRel()函数与moveTo()和moveRel()函数类似。另外,他们有一个button参数可以设置成left,middle和right三个键。例如:

#  按住鼠标左键,把鼠标拖拽到(100, 200)位置
pyautogui.dragTo(100, 200, button='left')
#  按住鼠标左键,用2秒钟把鼠标拖拽到(300, 400)位置
pyautogui.dragTo(300, 400, 2, button='left')
#  按住鼠标右键,用2秒钟把鼠标拖拽到(30,0)位置
pyautogui.dragTo(30, 0, 2, button='right')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

6、缓动/渐变(Tween / Easing)函数

缓动/渐变函数的作用是让光标的移动更炫。如果你不需要用到的话,你可以忽略这些。

缓动/渐变函数可以改变光标移动过程的速度和方向。通常鼠标是匀速直线运动,这就是线性缓动/渐变函数。PyAutoGUI有30种缓动/渐变函数,可以通过pyautogui.ease*?查看。其中,pyautogui.easeInQuad()函数可以用于moveTo(),moveRel(),dragTo()和dragRel()函数,光标移动呈现先慢后快的效果,整个过程的时间还是和原来一样。而pyautogui.easeOutQuad函数的效果相反:光标开始移动很快,然后慢慢减速。pyautogui.easeOutElastic是弹簧效果,首先越过终点,然后再反弹回来。例如:

#  开始很慢,不断加速
pyautogui.moveTo(100, 100, 2, pyautogui.easeInQuad)
#  开始很快,不断减速
pyautogui.moveTo(100, 100, 2, pyautogui.easeOutQuad)
#  开始和结束都快,中间比较慢
pyautogui.moveTo(100, 100, 2, pyautogui.easeInOutQuad)
#  一步一徘徊前进
pyautogui.moveTo(100, 100, 2, pyautogui.easeInBounce)
#  徘徊幅度更大,甚至超过起点和终点
pyautogui.moveTo(100, 100, 2, pyautogui.easeInElastic)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

7、实时获取鼠标位置

pyautogui.displayMousePosition()
Press Ctrl-C to quit.
X: 1338 Y:  780 RGB: ( 12,  12,  12)
  • 1
  • 2
  • 3

当调用这个方法时,一个独立的窗口会出现在屏幕上,显示当前鼠标的 x 和 y 坐标,并且这个窗口会跟随鼠标的移动而更新位置。

99、保护措施(FAILSAFE )

pyautogui.FAILSAFE = True时,如果把鼠标光标在屏幕左上角,PyAutoGUI函数就会产生pyautogui.FailSafeException异常。如果失控了,需要中断PyAutoGUI函数,就把鼠标光标在屏幕左上角。要禁用这个特性,就把FAILSAFE设置成False:

pyautogui.FAILSAFE = False
  • 1

99、延迟操作(PAUSE、sleep )

通过把pyautogui.PAUSE设置成float或int时间(秒),可以为所有的PyAutoGUI函数增加延迟。默认延迟时间是0.1秒。在函数循环执行的时候,这样做可以让PyAutoGUI运行的慢一点,非常有用。例如:

pyautogui.PAUSE = 2.5
pyautogui.moveTo(100,100); pyautogui.click()
  • 1
  • 2

所有的PyAutoGUI函数在延迟完成前都处于阻塞状态(block)。(未来计划增加一个可选的非阻塞模式来调用函数。)

建议PAUSE和FAILSAFE一起使用。

在使用pyautogui.sleep()期间,可以使用pyautogui.PAUSE属性调整自动化操作的等待时间。

pyautogui.sleep(2)  # 延迟2秒
# 执行其他PyAutoGUI操作
  • 1
  • 2

四、键盘操作

1、输入操作

键盘控制的主要函数就是typewrite()。这个函数可以实现字符输入。要在两次输入间增加时间间隔,可以用interval参数。例如:

#  输入Hello world!
pyautogui.typewrite('Hello world!')
#  每次输入间隔0.25秒,输入Hello world!
pyautogui.typewrite('Hello world!', interval=0.25)

# 多个键也可以:
pyautogui.typewrite(['a', 'b', 'c', 'left', 'backspace', 'enter', 'f1'], interval=secs_between_keys)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

2、按键操作

# 按下并抬起esc
pyautogui.press('esc')
# 按下shift(一直按着)
pyautogui.keyDown('shift')
# 连续操作
pyautogui.press(['left', 'left', 'left', 'left', 'left', 'left'])
# 抬起shift
pyautogui.keyUp('shift')
# 组合键 : ctrl+c
pyautogui.hotkey('ctrl', 'a') # 全选
pyautogui.hotkey('ctrl', 'c') # 复制
pyautogui.hotkey('ctrl', 'v') # 粘贴
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

3、按键列表:

pyautogui.KEYBOARD_KEYS

['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&', "'", '(', ')', '*', '+', ',', '-', '.', '/', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', ':', ';', '<', '=', '>', '?', '@', '[', '\\', ']', '^', '_', '`', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '{', '|', '}', '~', 'accept', 'add', 'alt', 'altleft', 'altright', 'apps', 'backspace', 'browserback', 'browserfavorites', 'browserforward', 'browserhome', 'browserrefresh', 'browsersearch', 'browserstop', 'capslock', 'clear', 'convert', 'ctrl', 'ctrlleft', 'ctrlright', 'decimal', 'del', 'delete', 'divide', 'down', 'end', 'enter', 'esc', 'escape', 'execute', 'f1', 'f10', 'f11', 'f12', 'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f2', 'f20', 'f21', 'f22', 'f23', 'f24', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'final', 'fn', 'hanguel', 'hangul', 'hanja', 'help', 'home', 'insert', 'junja', 'kana', 'kanji', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', 'left', 'modechange', 'multiply', 'nexttrack', 'nonconvert', 'num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', 'numlock', 'pagedown', 'pageup', 'pause', 'pgdn', 'pgup', 'playpause', 'prevtrack', 'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'return', 'right', 'scrolllock', 'select', 'separator', 'shift', 'shiftleft', 'shiftright', 'sleep', 'space', 'stop', 'subtract', 'tab', 'up', 'volumedown', 'volumemute', 'volumeup', 'win', 'winleft', 'winright', 'yen', 'command', 'option', 'optionleft', 'optionright']
  • 1
  • 2
  • 3

五、消息弹窗

如果你需要消息弹窗,通过单击OK暂停程序,或者向用户显示一些信息,消息弹窗函数就会有类似JavaScript的功能:

pyautogui.alert('这个消息弹窗是文字+OK按钮')
pyautogui.confirm('这个消息弹窗是文字+OK+Cancel按钮')
# 在prompt()函数中,如果用户什么都不输入,就会返回None。
pyautogui.prompt('这个消息弹窗是让用户输入字符串,单击OK')
  • 1
  • 2
  • 3
  • 4

1、alert()函数

显示一个简单的带文字和OK按钮的消息弹窗。用户点击后返回button的文字。

pyautogui.alert(text='text内容', title='title内容', button='OK')
  • 1

2、confirm()函数

显示一个简单的带文字、OK和Cancel按钮的消息弹窗,用户点击后返回被点击button的文字,支持自定义数字、文字的列表。

#  OK和Cancel按钮的消息弹窗
pyautogui.confirm(text='', title='', buttons=['OK', 'Cancel'])
#  10个按键0-9的消息弹窗
pyautogui.confirm(text='', title='', buttons=range(10))
  • 1
  • 2
  • 3
  • 4

3、prompt()函数

可以输入的消息弹窗,带OK和Cancel按钮。用户点击OK按钮返回输入的文字,点击Cancel按钮返回None

pyautogui.prompt(text='', title='' , default='')
  • 1

4、password()函数

样式同prompt(),用于输入密码,消息用*表示。带OK和Cancel按钮。用户点击OK按钮返回输入的文字,点击Cancel按钮返回None。

pyautogui.password(text='', title='', default='', mask='*')
  • 1

六、图片处理函数

PyAutoGUI用Pillow/PIL库实现图片相关的识别和操作。

在Linux里面,你必须执行sudo apt-get install scrot来使用截屏特性。

0、安装open-cv

pip install opencv-python

  • 1
  • 2

1、截屏并保存

import pyautogui
# 指定要截取的区域
left = 100
top = 100
width = 500
height = 500

# 截取指定区域的屏幕截图
screenshot = pyautogui.screenshot(region=(left, top, width, height))

# 保存截图为图片文件
screenshot.save('screenshot.png')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

2、在屏幕上查找图片(亲测好用,参数与下面2一致)

#  返回一个Pillow/PIL的Image对象
pyautogui.screenshot()
pyautogui.screenshot('foo.png')

# 如果你有一个图片文件想在上面做点击操作,你可以用locateOnScreen()函数来定位。
#  返回(最左x坐标,最顶y坐标,宽度,高度) (0, 1040, 48, 40)
pyautogui.locateOnScreen('pyautogui/looks.png')

# locateAllOnScreen()函数会寻找所有相似图片,返回一个生成器: (0, 1040, 48, 40)
for i in pyautogui.locateAllOnScreen('pyautogui/looks.png'):
    print(i)
list(pyautogui.locateAllOnScreen('pyautogui/looks.png')) # [(0, 1040, 48, 40)]

# locateCenterOnScreen()函数会返回图片在屏幕上的中心XY轴坐标值:(24, 1060)
pyautogui.locateCenterOnScreen('pyautogui/looks.png')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

如果没找到图片会返回None。

定位比较慢,一般得用1~2秒

3、查找指定图像或颜色的位置(需要传入截图对象)

'''
参数:
image:要查找的图像对象或图像文件的路径。
region(可选):一个四元组,表示查找图像的区域范围,即左上角和右下角的坐标。(left, top, width, height)。默认为None,表示在整个屏幕上搜索。
grayscale(可选):是否将图像转换为灰度图像进行搜索。默认为False,即彩色搜索。
confidence(可选):查找图像时的匹配置信度。值为0到1之间的浮点数,默认为0.7。

返回值:
如果找到了图像,将返回一个四元组,表示图像在屏幕上的位置范围。(left, top, width, height)。
如果未找到图像,则返回None。
'''
pyautogui.locate(image, region=None, grayscale=False, confidence=0.7)

'''
参数:
image:要查找的图像对象或图像文件的路径。
region(可选):一个四元组,表示查找图像的区域范围,即左上角和右下角的坐标。(left, top, width, height)。默认为None,表示在整个屏幕上搜索。
grayscale(可选):是否将图像转换为灰度图像进行搜索。默认为False,即彩色搜索。
confidence(可选):查找图像时的匹配置信度。值为0到1之间的浮点数,默认为0.7。

返回值: 返回一个生成器(generator),用于迭代返回所有找到的图像位置。每个位置都是一个四元组,表示图像在屏幕上的位置范围。(left, top, width, height)。
'''
pyautogui.locateAll(image, region=None, grayscale=False, confidence=0.7)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
# 在屏幕上查找指定图像
image_location = pyautogui.locate('image.png')
print(image_location)  # 输出 (100, 200, 50, 50) 表示图像在屏幕上的位置是(100, 200)到(150, 250)

# 在指定区域查找图像
region = (0, 0, 800, 600)
image_location = pyautogui.locate('image.png', region=region)
print(image_location)

# 在屏幕上查找指定颜色
color_location = pyautogui.locateOnScreen('#FF0000')
print(color_location)  # 输出 (100, 200, 1, 1) 表示颜色在屏幕上的位置是(100, 200)

# 在屏幕上查找所有指定图像的位置
for image_location in pyautogui.locateAll('image.png'):
    print(image_location)  # 输出 (100, 200, 50, 50) 表示图像在屏幕上的位置是(100, 200)到(150, 250)

# 在指定区域查找所有图像位置
region = (0, 0, 800, 600)
for image_location in pyautogui.locateAll('image.png', region=region):
    print(image_location)

# 在屏幕上查找所有指定颜色的位置
for color_location in pyautogui.locateAllOnScreen('#FF0000'):
    print(color_location)  # 输出 (100, 200, 1, 1) 表示颜色在屏幕上的位置是(100, 200)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/494677
推荐阅读
相关标签
  

闽ICP备14008679号