写在前面
最近两天，公司有个PC客户端的测试任务，除了最基础的功能测试外，还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具，于是便应用于测试工作中，辅助测试任务。初步试用下来，总体效果还算差强人意，也间接助我发现了一个致命级别的大bug（后续会介绍）。
一、GUI图像识别框架元祖：Sikuli
Sikuli 创始于 2009 年，是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和支持并将其命名为 SikuliX。它以图像检索技术为基础，提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接引用 GUI 元素进行编程，完成交互操作。Sikuli 一词取自墨西哥的土著语，意为“上帝之眼”，寓意—— Sikuli 让电脑能像人一样”看”这个”真实世界”。官网：http://www.sikulix.com/
SikuliX支持作为脚本语言：
>Python 语言级别 2.7（由Jython支持）
>支持运行RobotFramework文本脚本
>Ruby 语言级别 1.9 和 2.0（由JRuby支持）
>JavaScript（受 Java 脚本引擎支持）
SikuliX的常见用途：
应用程序或网页的日常自动化任务
玩游戏
IT系统和网络的管理
二、Sikuli运行原理
http://doc.sikuli.org/devs/system-design.html#sikuli-ide
三、Sikuli安装
Sikuli 支持跨平台运行，可以运行在Mac OS X、Windows 和 Linux 系统下。下载地址：https://launchpad.net/sikuli/+download或者官网：http://sikulix.com/
推荐安装x1.0-rc3（需要依赖JDK1.6版本）
四、Sikuli IDE主界面基本使用
Sikuli1.x版本官方文档：http://doc.sikuli.org/
左侧为常用函数，包括查找、鼠标动作、键盘动作等
点击元素的图片可以调节识别的偏移度、匹配的精度
sikuli脚本首次保存会提示并弹出保存路径，可自定义保存路径
脚本也可以导出为exe格式的可执行文件
一个脚本对应一个目录，目录中对应脚本中的图标截图、python脚本
五、Sikuli 脚本语法
Sikuli 的脚本编写遵循 Python 语法规范，其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于Jython，其核心代码由 Java 编写，可在用户自定义的 Java 工程中将其作为 Java 标准类库进行
定位APP窗口：myApp.window()
聚焦到当前APP：myApp.focus()
判断元素是否存在：exists()
点击某个元素或图标：click()
输入文本内容：type("hello world")
按下键盘按键：type(Key.ENTER) 按键名要大写
六、Sikuli 应用示例
PC客户端的自动循环发送消息的脚本示例：
import timeimport randommyApp=App("yueyun-im") # 声明APP实例
if not myApp.window(): # 判断当前是否处于APP窗口
openApp("D:\\yueyun-im\\yueyun-im.exe") # 如果不处于APP窗口，则打开指定位置EXE
myApp.focus() # 聚焦于APPif exists("K7iX.png"): # 判断图标是否存在
click("K7iX.png") # 点击指定图标按钮if not exists("1655945972853.png"):
click("1655946081065.png")click("1655945972853.png")#while 'p' in 'python': for i in range(10):
type("TEST-SIKULI-MSG-"+str(i))
time.sleep(0.2) # 休眠3秒
#click("1655946081065.png")
type(Key.ENTER) # 按下键盘的ENTER键，按键名要大写
type(Key.ENTER)myApp.close() # 关闭APP七、Sikuli 优势及局限
1.优势
① 学习成本低，只需掌握简单的python语法就能快速上手；
② 无需关注元素有哪些属性，所见即所得；
③ 适合非标准控件等自定义界面的定位，如游戏界面；
④ 支持跨平台，如：Windows、Linux、macOS；
2.局限
① 基于图像识别，图片的大小、分辨率、色彩都会对识别造成影响，定位不能百分百准确地识别到元素；
② 只能定位当前正在操作的窗口界面；
③ 若流程过长，则会造成脚本过于臃肿；
④ 图片存在相似度，会对识别造成影响，需要手动一一调整图片的精度；
Sikuli 使用小结
尽管sikuli用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余，比如：
① 循环、持续发送消息，7*24h运行，以检测程序运行稳定性；
② 持续发送图片或视频文件，以检测程序连续上传、下载文件稳定性；
③ 在不同的PC系统版本上运行，以检测程序的兼容性；
对于web自动化、APP自动化主要用该端特定的自动化框架，如selenium、appium，sikuli作为辅助、可以和selenium等结合使用；
对于特定的、复杂的场景，如游戏界面、flash应用等难以识别到元素的应用界面，可以使用sikuli；
今天在测试场景②的过程中也发现了一个bug：【当前聊天窗口，持续下载图片过程中，程序闪退】。虽然说这个bug是sikuli测出来的bug有些牵强（本身自动化测试也不是用来发现bug的），但sikuli绝对是出了很大一份力。只要能合理地利用，任何不起眼的工具都可以发挥它的价值！
本文使用 文章同步助手 同步
