超大规模数据治理

格灵深瞳基于第二代英特尔® 至强® 可扩展处理器 + 英特尔® 傲腾™ 数据中心级持久内存的以图搜图引擎解决方案

企业介绍

北京格灵深瞳信息技术有限公司(以下简称:格灵深瞳)是一家专注于计算机视觉以及人工智能的科技公司,致力于推出低成本、具备大规模部署能力的人工智能产品和服务。作为最早一批在中国把人工智能投入到商业应用的创业企业,格灵深瞳在智能交通、智能零售、智慧安防、智慧银行等领域持续深耕,为遍布全国和全世界的客户提供包含智能传感器、智能识别、智能云计算和服务机器人的综合智能解决方案和服务。

背景

随着计算机视觉和深度学习技术的迅速发展,通过计算机视觉能力检测、识别图像如今已经被零售、安防监控、公共安全、智能交通等各个领域接受并广泛应用。例如,在智能交通领域,交通管理部门常常需要通过一张机动车图片检索目标信息,并在省市级的范围内追踪目标轨迹。针对目标特征应用,格灵深瞳推出 “以图搜图” 引擎产品,该产品运用领先的深度学习和高性能运算技术,可检测并识别图片中的全目标(人脸、机动车、非机动车、行人等)结构化信息,进行大规模特征比对、以图搜图等服务。

解决方案

针对不同的场景需求,格灵深瞳以图搜图引擎提供不同的解决方案:

· 对于规模较小,1 亿内特征存储、超高频率的特征比对场景(例如:动态人脸布控),提供基于图形处理器(GPU)的解决方案,满足用户的高频比对需求:

· 对于超大规模特征存储、低频比对场景(例如:抓拍库的以图搜图),提供基于第二代英特尔® 至强® 可扩展处理器 + 英特尔® 傲腾™ 固态盘/数据中心级持久内存的解决方案,满足用户的超大规模特征存储比对需求:

· 同时引擎支持横向扩展,支持最大 100 台机器的横向扩展,最大支持 3000 亿目标(人体/车辆/非机动车)或 1000 亿人脸的以图搜图在 5 秒内返回结果。

下图为格灵深瞳基于 Intel 技术的分布式以图搜图引擎架构图:

图 1. 基于 Intel 技术的格灵深瞳以图搜图引擎分布式架构

格灵深瞳以图搜图引擎采用第二代英特尔® 至强® 金牌处理器, 该处理器性能优异,同时支持 AVX2,AVX-512 指令集。每处理器六通道的 DRAM 提供了充足的内存带宽,同时经过高度优化的英特尔® 数学核心库(英特尔® MKL)提供了优越的函数计算能力和多线程支持。

效果

下文以人脸特征描述性能参数,人/车/非特征为人脸性能的 3 倍,针对 1 亿条或者更少的数据,所有目标特征都可以保存在同一台服务器的 DDR4 内存中(占用 50G 内存),达到 1 亿条特征比对 1 秒返回的性能指标。

在智慧城市等应用场景中,1 亿条的特征比对上限已经不能满足用户的需求。为了支持更多的特征数量,同时克服内存空间较小、价格较贵、普通固态盘读取速度慢的缺点,格灵深瞳在超亿级特征对比产品中采用英特尔® 傲腾™ 固态盘,组建虚拟内存方案。

英特尔® 傲腾™ 固态盘比内存价格低,但虚拟内存读取性能远高于普通固态盘。经过测试,该解决方案达到了单机 5 亿人脸特征的比对能力,以图搜图结果可以在 3 秒内返回。

当目标数量超过 5 亿时,传统内存 + 固态盘/虚拟内存的方案, 都存在数据搬运的瓶颈问题。格灵深瞳采用英特尔® 傲腾™ 数据中心级持久内存,在单一服务器上实现了大容量、高带宽和低延迟的持久存储。测试结果表明(见表 2):在 10 亿目标的情况下,以图搜图可以在 10 秒内返回,单机可支持 40 亿热数据搜索。

表 1. 不同以图搜图引擎解决方案对比

下表展示了三款不同内存解决方案的以图搜图性能。

表 2:3 款内存解决方案的图片搜索性能表

**1: **配置 1 — 英特尔® 至强® 金牌 6140 处理器,DDR4 DRAM 32GB x6 @ 2666 MT/秒

**注 2: **配置 2 — 英特尔® 至强® 金牌 6140 处理器,英特尔® 傲腾™ 固态盘,DDR4 DRAM 32GB x6 @ 2666 MT/秒

**注 3: **配置 3 — 英特尔® 至强® 金牌 6240 处理器(测试时使用 18 核),英特尔® 傲腾™ DC 持久内存 128GB x6 @ 2666 MT/秒,配置成 2-2-2 模式,DDR4 DRAM 32GB x6 @ 2666 MT/秒

**注 4: **随着更多测试的进行,性能指标评测结果可能进行修改。结果依赖于在测试中使用的特定平台配置与工作负载,可能不适用于具体的用户组件、计算机系统或工作负载。结果并不代表其他性能指标评测,其他性能指标评测结果可能或多或少受到限制。

性能结果依据 2019 年 5 月 30 日的测试,可能无法反映所有发布的安全更新。请查看配置声明,了解详情。

任何产品都无法提供绝对的安全。

相比 DRAM 解决方案,英特尔® 傲腾™ DC 持久内存解决方案还提供了更快的应用启动时间。对于 DRAM 解决方案,将 1 亿个数据片段从硬盘加载至内存以及为这些数据构建关系所需的时间约为 30 分钟,这意味着 10 亿个数据片段约花费 5 小时。通过将构建的数据直接放在持久内存,每 1 亿个数据片段花费的时间将缩短为 3 分钟,10 亿个数据片段仅需 30 分钟(参见图 2)。

更高的性能意味着更低的基础设施成本,相比采用 CPU 和传统 DRAM 内存的多机解决方案,采用英特尔® 傲腾™ DC 持久内存的第二代英特尔® 至强® 可扩展处理器可显著降低成本。

格灵深瞳与英特尔合作,利用最新款英特尔® 至强® 可扩展处理器、英特尔® 深度学习加速技术和创新的英特尔® 傲腾™ 存储技术将人工智能解决方案的性能提升至全新水平。

图 2:数据加载和构建时间(单位:分钟,越低越好)

注:随着更多测试的进行,性能指标评测结果可能进行修改。结果依赖于在测试中使用的特定平台配置与工作负载,可能不适用于具体的用户组件、计算机系统或工作负载。结果并不代表其他性能指标评测,其他性能指标评测结果可能或多或少受到限制。

性能结果依据 2019 年 5 月 30 日的测试,可能无法反映所有发布的安全更新。任何产品都无法提供绝对的安全性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容

  • 姓名:张亚宁 学号:15020199042 转载自:https://news.cnblogs.com/n/602...
    小Gibbs阅读 520评论 0 0
  • 情结觉察 看上面图片,回答以下问题 1.你看到了什么?迷宫,还有人继续走进来 2.什么情境?迷局设计的很科学 3....
    我心安住阅读 182评论 0 0
  • 大概可以理解为:冥冥之中早有注定,有那么一个人(或一个物件),即使只是初次相识,便有一种莫名的熟悉感,好像有...
    卖小妞的饼干阅读 282评论 0 1
  • 今天用这个题目,主要是想说说网络用语。 我喜欢看书,也喜欢在网上看书。应该是在2003年左右,就习...
    图书八折贱卖阅读 516评论 9 5
  • 第七章 被抓 我自己一个人坐在木屋里,又怕又担心,像一只老鼠坐在猫的地盘里似的。每一时刻那个紫衣女士都可能会进来,...
    点点_Daisy阅读 323评论 2 3