【UiPath Studio 中文文档】39 界面元素 - 输出和屏幕抓取方法

输出和屏幕抓取方法是指那些使您能够从特定的 UI 元素或文档 (如 .pdf 文件) 中提取数据的活动。

为了了解哪一个更适合自动化您的业务流程,让我们看看它们之间的区别。

Capability Method Speed Accuracy Background Execution Extract Text Position Extract Hidden Text Support for Citrix
FullText 10/10 100% yes no yes no
Native 8/10 100% no yes no no
OCR 3/10 98% no yes no yes

FullText 是默认的方法,它快速、准确,但与 Native 方法不同的是,它不能提取文本的屏幕坐标。

这两种方法都只适用于桌面应用程序,但 Native 方法仅适用于用图形设备接口(GDI)呈现文本技术构建的应用程序。

OCR 并不不是 100% 的精确,但对于提取其他两种方法无法提取的文本非常有用,因为它适用于所有应用程序,包括 Citrix。Studio 默认使用两个 OCR 引擎分别是:Google TesseractMicrosoft Modi

你可以修改 OCR 引擎的语言,你也可以在 安装 OCR 语言 找到相关的信息。

Capability Method Multiple Languages Support Preferred Area Size Support for Color Inversion Set Expected Text Format Filter Allowed Characters Best with Microsoft Fonts
Google Tesseract Can be added Small yes yes yes no
MIcrosoft MODI Supported by default Large no no no yes

要开始从各种源提取文本,请单击选项卡上,Design > Wizards 按钮组的 Screen Scraping 按钮。

屏幕抓取向导使您能够使用上面描述的三种输出方法中的一种来指向 UI 元素并从中提取文本。Studio 自动为您选择一个屏幕抓取方法,并将其显示在 Screen Scraper Wizard 窗口的顶部。

Screen Scraper Wizard 窗口

如果想改变屏幕抓取的方法,请在面板中选择另一种方法,点击 Refresh 按钮。

当您对抓取结果满意时,单击 Finish. 后一个选项将提取的文本复制到剪贴板,而前者将您的信息保存给 Designer 面板。就像桌面录制一样,屏幕抓取生成一个容器(包含顶层窗口的选择器),其中包含活动,以及每个活动的部分选择器。

Screen Scraper Wizard 中,每种类型的屏幕抓取都具有不同的选项和功能:


  1. FullText

Ignore Hidden – 选中此复选框时,不会复制所选UI元素中的隐藏文本。

Ignore Hidden


  1. Native
    Native

No Formatting – when this check box is selected, the copied text does not extract formatting information from the text. Otherwise, the extracted text’s relative position is retained.

No Formatting – 当选中此复选框时,复制的文本不会从文本中提取格式信息。否则,提取的文本的相对位置将被保留。

Get Words Info – 当选中此复选框时,Studio 还提取每个单词的屏幕坐标。此外,还会显示 Custom Separators 字段,使您能够指定用作分隔符的字符。如果字段为空,则使用所有已知的文本分隔符。


  1. Google OCR
Google OCR

Languages – 默认只支持英文

Characters - 允许你选择导出字符的类型。有以下可用选项:Any character, Numbers only, Letters, Uppercase, Lowercase, Phone numbers, Currency, DateCustom. 如果你选择了 Custom,将会显示两个附加的字段 AllowedDenined,允许你创建抓取字符的类型和要避免的字符类型的自定义规则。

Invert – 当选中此复选框时,UI 元素的颜色将在抓取之前反转。当背景比文本颜色更深时,这是有用的。

Scale - 所选 UI 元素或图像的缩放因子。数字越大,图像放大越多。这个选项可以使屏幕信息被 OCR 更好识别,并且推荐在小图像的情况下使用。

Get Words Info - 获取每个抓取字符在屏幕上的位置信息

注意
在一些 UiPath Studio 实例中, Google Tesseract Engine 可能带有在非英语语言中不会工作的训练文件(关于训练文件的更多信息,请参考 Wikipedia, GitHub)。运行带有这些损坏的培训文件的项目可能会引发异常。要解决这个问题,请从这里 下载相应语言的训练文件,并将其复制到 UIPATH 安装目录 下的 tessdata 文件夹中 。

为了检查你下载的训练文件是否能正常工作,你可以下载这个 测试项目.


  1. Microsoft OCR
Microsoft OCR

Languages – 允许你更改抓取文本的语言。默认选中英语。

Scale – 所选 UI 元素或图像的缩放因子。数目越高,放大图像越多。这可以使 OCR 更好地识别,推荐你在小图像的情况下使用。

Get Words Info - 获取每个抓取字符在屏幕上的位置信息

除了可以从指示的 UI 元素中提取文本外,还可以提取多种类型属性的值、其确切的屏幕位置及其祖先元素。

可以通过在 Activities 面板,UI Automation > Element > FindUI Automation > Element > Attribute 下面的活动提取这些类型的信息

这些活动有:

Get Ancestor – 使您能够从指定的 UI 元素中检索祖先元素。您可以指定在哪个级别的 UI 层次结构中查找祖先,并将结果存储在 UiElement 变量中。

Get Ancestor

Get Attribute - 获取指定UI元素属性的值。一旦你在屏幕上显示UI元素,就会显示一个带有所有可用属性的下拉列表。

Get Attribute

Get Position – 获取绑定指定 UiElement 所在的矩形,仅仅支持矩形变量

Get position

UiPath Studio 还具有 相对抓取 功能,这是一种识别相对于锚的文本位置的抓取方法。你可以从 这里 获取更多的信息。

你也可以通过 Screen Scraping Wizard 为非结构化的数据生成表格并存储在 DataTable 变量中 。

请参考 Generating Tables from Unstructured Data 获取更多信息

官网原文链接

返回目录
UiPath 常见问题及解决办法汇总

更多 UiPath 相关的资讯,请关注公众号:流程自动化机器人教程
由于简书禁止直接在文章中插入公众号二维码,请点击 这里 了解添加该公众号的细节。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,776评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,527评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,361评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,430评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,511评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,544评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,561评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,315评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,763评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,070评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,235评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,911评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,554评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,173评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,424评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,106评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,103评论 2 352

推荐阅读更多精彩内容