PyAutoGui 图片识别+定位+截图函数文档

前言:

本章节有个非常重要的函数 locateCenterOnScreen!

如果你有一个图像文件,你可以在屏幕上直观地定位一些东西。

它直接返回x,y坐标点,返回值可以给click()

PyAutoGUI可以获取屏幕截图,将它们保存到文件中,并在屏幕中识别并定位图像。这是有用的,如果你有一个小的图像,比方说,一个按钮,需要点击,并希望找到它在屏幕上。这些特性由PyScreeze模块提供,该模块与PyAutoGUI一起安装


作者:Simon0903

链接:https://www.jianshu.com/u/2b4bc3b5e6fc

來源:简书

简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。


截图功能需要依赖pillow模块。

OSX使用screencapture命令,它与操作系统一起提供。

Linux使用scrot命令,可以通过运行sudo apt-get install scrot.


关于Ubuntu的特别说明

Ubuntu在安装 pillow 方面似乎有一些缺陷。PNG和JPEG支持不包括在Ubuntu上的pillow中。以下链接有更多信息:https://stackoverflow.com/questions/7648200/pip-install-pil-e-tickets-1-no-jpeg-png-support http://ubuntuforums.org/showthread.php?t=1751455


import pyautogui as auto



屏幕截图()函数

screenshot()

将返回 Image 对象(有关详细信息,请参阅枕头或PIL模块文档)。传递文件名的字符串将屏幕快照保存到文件中,并将其作为Image对象返回。

#  有一个可选的 region 关键字参数,如果不希望看到整个屏幕的截图。

# 可以传递区域的左、顶、宽和高的四个整数元组来捕获:

pic_1 = auto.screenshot()

pic_2 = auto.screenshot('my_screenshot.png') #在1920 x 1080屏幕上,screenshot()函数大约需要100毫秒

pic_3 = auto.screenshot("my_screenshot.png ",region=(0,0, 300, 400))


定位函数 (非常重要) 

在#1920 x 1080屏幕上,定位函数调用大约需要1或2秒 ,不适用于游戏脚本调用,原因是太慢

locateOnScreen()

例如,假设计算器应用程序在您的计算机上运行,如下所示:


# 当启动计算器界面的时候,这时您不能直接调用moveTo()和click()函数,如果您不知道计算器按钮的确切屏幕坐标。

# 每次启动时,计算器都会出现在一个稍微不同的地方,因此每次都需要重新查找坐标。

# 但是,如果您有该按钮的图像,例如7按钮的图像:

# 就直接用图片识别功能定位它的屏幕坐标(是元组,左、上、右、下),这个返回结果(元组)也可以给center()函数方法,转化成x,y的坐标值

# 如果屏幕上找不到图像,locateOnScreen()  则返回结果为:None.

number7_location = auto.locateOnScreen('calc7key.png')   #传入按钮的图片

print(number7_location)  # 返回屏幕所在位置

>>>(1416, 562, 50, 41)

x,y = auto.center(number7_location )  # 转化为 x,y坐标

print(number7_location)  #按键7的坐标是1441,582

>>> (1441, 582) 

auto.click(number7_location) 

# 点击坐标,click()它是支持元组格式的坐标传入的

#根据图片识别定位x,y坐标(比较好用)

locateCenterOnScreen(image, grayscale=False)

返回找到的第一个截图Image对象在屏幕上的中心坐标(x, y),如果没找到返回None

auto.locateCenterOnScreen('1.png',grayscale=False)

#  参数grayscale是是否转灰度

>>> (1441, 582) 


locateAllOnScreen(image, grayscale=False)

# 返回找到的所有相同截图Image对象屏幕上的坐标,返回结果是(left, top, width, height)的‘生成器’

auto.locateAllOnScreen('xxx.png',grayscale=False)  #遍历找到屏幕上所有显示为xxx的图像对象坐标,转灰度操作=关闭


locate(needleImage, haystackImage, grayscale=False)

auto.locate('xxx.png')

# 返回找到的第一个截图Image对象在haystackImage里面的坐标(left, top, width, height),如果没找到返回None

locateAll(needleImage, haystackImage, grayscale=False)

auto.locateAll('xxx.png')

# 返回找到的所有相同截图Image对象在haystackImage里面的坐标(left, top, width, height)的生成器

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355