Python的PyAutoGUI介绍

pip install pyautogui

# Debian/Ubuntusudo apt-get install scrot python3-xlib

import pyautogui# 获取屏幕分辨率screen_width, screen_height = pyautogui.size()print(f"屏幕宽度: {screen_width}, 屏幕高度: {screen_height}")# 获取当前鼠标位置current_x, current_y = pyautogui.position()print(f"当前鼠标坐标: ({current_x}, {current_y})")

# 瞬间移动到 (100, 200)pyautogui.moveTo(100, 200)# 用 2 秒时间平滑移动到 (500, 500)pyautogui.moveTo(500, 500, duration=2)# 相对当前位置向右移动 50 像素，向下移动 100 像素pyautogui.moveRel(50, 100, duration=1)

# 左键单击当前位置pyautogui.click()# 在指定位置右键单击pyautogui.rightClick(200, 300)# 双击左键pyautogui.doubleClick(x=400, y=500)# 中键点击pyautogui.middleClick()# 按下左键不放pyautogui.mouseDown(button='left')# 释放左键pyautogui.mouseUp(button='left')

# 从当前位置拖拽到 (600, 400)，持续 1 秒pyautogui.dragTo(600, 400, duration=1)# 相对当前位置向右拖拽 100 像素，向下拖拽 200 像素pyautogui.dragRel(100, 200, duration=0.5)

# 向上滚动 10 个单位pyautogui.scroll(10)# 向下滚动 5 个单位pyautogui.scroll(-5)

import pyautogui# 输入 "Hello World!"，每个字符间隔 0.1 秒pyautogui.write('Hello World!', interval=0.1)# 输入中文（取决于当前输入法状态）pyautogui.write('你好')  # 如果输入法是中文，则可能输出拼音或汉字

# 按下回车键pyautogui.press('enter')# 长按 Shift 键，然后按字母 a，然后释放 Shiftpyautogui.keyDown('shift')pyautogui.press('a')pyautogui.keyUp('shift')# 上述操作相当于输入大写字母 A

# 全选 (Ctrl+A)pyautogui.hotkey('ctrl', 'a')# 复制 (Ctrl+C)pyautogui.hotkey('ctrl', 'c')# 粘贴 (Ctrl+V)pyautogui.hotkey('ctrl', 'v')# 保存 (Ctrl+S)pyautogui.hotkey('ctrl', 's')# 在 macOS 上 Command 键对应 'command'pyautogui.hotkey('command', 'c')

import pyautogui# 截取全屏full_screen = pyautogui.screenshot()full_screen.save('full.png')# 截取指定区域 (left, top, width, height)region = pyautogui.screenshot(region=(100, 100, 300, 200))region.save('region.png')# 获取某个像素点的颜色pixel_color = pyautogui.pixel(500, 300)print(pixel_color)  # 输出 RGB 元组，如 (255, 255, 255)# 判断像素点是否匹配某个颜色is_white = pyautogui.pixelMatchesColor(500, 300, (255, 255, 255))print(is_white)  # True 或 False

# 查找屏幕上是否有某个按钮图像button_location = pyautogui.locateOnScreen('button.png')if button_location:    # 获取图像中心点    center_x, center_y = pyautogui.center(button_location)    pyautogui.click(center_x, center_y)else:    print("未找到按钮")# 查找所有匹配位置for pos in pyautogui.locateAllOnScreen('icons.png'):    print(pos)

# 需要安装 opencv-pythonlocation = pyautogui.locateOnScreen('button.png', confidence=0.8)if location:    pyautogui.click(pyautogui.center(location))

import timetimeout = 10  # 最多等待 10 秒start_time = time.time()while True:    location = pyautogui.locateOnScreen('loading_done.png')    if location:        print("加载完成")        break    if time.time() - start_time > timeout:        print("超时")        break    time.sleep(0.5)

# 显示提示信息，用户点击 OK 后继续pyautogui.alert('这是一个提示框')# 显示确认对话框，用户点击 OK 或 Cancel，返回文本 'OK' 或 'Cancel'result = pyautogui.confirm('是否继续？')if result == 'OK':    print("用户选择了继续")# 显示带输入框的对话框，返回用户输入的字符串user_input = pyautogui.prompt('请输入你的名字')print(f"你好，{user_input}")# 显示密码输入框，输入内容显示为掩码password = pyautogui.password('请输入密码')

import pyautoguitry:    # 一些可能失控的操作    while True:        pyautogui.moveRel(1, 0)except pyautogui.FailSafeException:    print("触发了故障安全，脚本已停止")

pyautogui.PAUSE = 0.5  # 每个操作后暂停 0.5 秒

import pyautoguiimport time# 打开运行对话框pyautogui.hotkey('win', 'r')time.sleep(1)# 输入 "notepad" 并回车pyautogui.write('notepad')pyautogui.press('enter')# 等待记事本窗口打开time.sleep(2)# 输入一段文字pyautogui.write('Hello, PyAutoGUI!', interval=0.1)pyautogui.press('enter')pyautogui.write('This is an automated input.')# 保存文件pyautogui.hotkey('ctrl', 's')time.sleep(1)# 输入文件名并保存pyautogui.write('automated.txt')pyautogui.press('enter')

import pyautoguiimport timetarget_color = (255, 0, 0)  # 红色region = (500, 300, 100, 100)  # 监控区域print("开始监控...")while True:    # 截取区域图像    img = pyautogui.screenshot(region=region)    # 获取区域中心点的颜色（也可以遍历像素，此处简化）    center_x = region[0] + region[2] // 2    center_y = region[1] + region[3] // 2    if pyautogui.pixelMatchesColor(center_x, center_y, target_color, tolerance=10):        pyautogui.click(center_x, center_y)        print("检测到红色，已点击")        break    time.sleep(0.1)

import pyautoguiimport timedef wait_and_click(image_path, timeout=10, confidence=0.8):    """等待图像出现并点击，超时返回 False"""    start = time.time()    while time.time() - start < timeout:        location = pyautogui.locateOnScreen(image_path, confidence=confidence)        if location:            pyautogui.click(pyautogui.center(location))            return True        time.sleep(0.5)    return False# 等待应用界面加载，点击登录按钮if wait_and_click('login_button.png'):    time.sleep(1)    # 输入用户名    pyautogui.write('my_username')    pyautogui.press('tab')    # 输入密码    pyautogui.write('my_password')    pyautogui.press('enter')else:    print("未找到登录按钮")

import cv2import numpy as npimport pyautogui# 截取屏幕screenshot = pyautogui.screenshot()# 转换为 OpenCV 格式cv_image = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)# 读取模板图像template = cv2.imread('button.png')# 使用模板匹配（此处仅示例，实际还是用 locateOnScreen 更方便）result = cv2.matchTemplate(cv_image, template, cv2.TM_CCOEFF_NORMED)# ... 处理结果

location = pyautogui.locateOnScreen('button.png', region=(0, 0, 800, 600), grayscale=True)

screen_w, screen_h = pyautogui.size()pyautogui.click(screen_w * 0.5, screen_h * 0.5)  # 点击屏幕中央

def click_with_retry(image_path, retries=3, delay=1):    for i in range(retries):        location = pyautogui.locateOnScreen(image_path)        if location:            pyautogui.click(pyautogui.center(location))            return True        time.sleep(delay)    raise Exception(f"在 {retries} 次尝试后仍未找到图像 {image_path}")

if pyautogui.confirm('即将开始自动化，是否继续？') != 'OK':    exit()