图形数据库的前5大用例——用相连的数据解锁开新的可能性(译)
Jim Webber,首席科学家, Neo Technology
Lan Robinson, 高级工程师, Neo Technology
引言
“大数据”每年都在增长,但今天的企业领导者不仅需要管理更大量的数据,而且他们迫切地需要从现有数据中产生深刻见解。那么CIO和CTO应该如何产生这些见解?
套用Seth Godin的话来说,企业需要停止仅收集数据点,并开始连接它们。换句话说,数据点之间的关系几乎比单独的数据点自身更要紧一些。
为了利用这些数据之间的关系,您的企业需要一项数据库技术来将关系信息作为一等实体存储。 这项技术则是图形数据库。
具有讽刺意味的是,传统的关系数据库管理系统(RDBMS)非常不善于处理数据点之间的关系。它们的表格数据模型和严格的模式使它们很难添加新的或不同种类的关联信息。
图模型才是未来 。 图形数据库不仅可以有效地存储数据点之间的关系,而且也能灵活地添加新类型的关系或数据模型以适应新的业务需求。
那么您的企业如何利用图形数据库来从您的互相连接的数据中产生有竞争力的卓见和重要的商业价值呢?
以下是图形数据库技术的前五大用例:
使用案例1:欺诈检测
银行和保险公司每年因欺诈损失数十亿美元。 传统欺诈检测方法未能最小化这些损失,因为它们执行离散分析,容易受到假阳性和阴性的影响。知道了这一点,经验丰富的欺诈者开发了多种方法来利用离散分析的弱点。
通过高级的基于上下文的链接分析,图数据库提供具有高水平的准确性的揭露欺诈团伙和其他复杂骗局的新方法,并且它们是有能力的实时制止高级诈骗场景。
为什么要使用图形数据库进行欺诈检测?
虽然没有预防欺诈措施是完美的,但是当您从出了只看单独的数据点本身到关注把它们连接在一起的关系时,效果将有显著的改善。
了解数据之间的联系,并从这些链接中得出含义, 不一定意味着收集新的数据。 您可以从现有的数据中得出重要的见解,只需要简单地通过以新的方式重构问题:看作一张图。
与大多数其它的看待数据的方式不同,图形旨在表达相关性。 图形数据库能发现使用传统的诸如关系表的表示难以检测的模式。 越来越多的公司使用图形数据库解决各种连接的数据的问题,包括欺诈检测。
示例:电子商务欺诈
随着我们的生活越来越数字化,越来越多的金融交易是在线进行的。 欺诈者迅速适应了这一趋势,并且设计出了聪明的方式欺骗网上支付系统。
虽然这种类型的活动可以并且确实涉及到犯罪团伙,甚至一个知情的 欺诈者可以创造大量的合成身份并执行相当大的计划。
考虑具有以下标识符的在线交易:用户ID,IP地址,地理位置, 跟踪Cookie和信用卡号码。 通常,这些标识之间的关系应该是(几乎是)一对一的。一些差异自然也被考虑在内,比如共享的机器,家庭共享单个信用卡号码,个人使用多台电脑等等。
但是,一旦这些变量之间的关系超过合理数量, 欺诈应被视为有很大的可能性。 标识符之间的连接越多,越应该引起关注。 大而紧密的图是欺诈正在发生的强有力的指标。
有关示例,请参见以下图:
通过将检查放在适当位置并将其与适当的事件触发器相关联,这些模式可以在它们造成重大伤害之前被发现。触发器可以包括登录,下订单或注册信用卡等任意可以根据欺诈图进行交易评估的事件。扇出可能会跳过,但复杂的图形可以被标记为可能的欺诈行为。
结论
当涉及基于图来检测欺诈时,您需要通过链接分析来增强您的欺诈检测能力。 那就是说,以下两点是明确的:
•随着业务流程变得越来越快和自动化,检测欺诈的时间余量在缩小,增强了拥有一个实时解决方案的需要。
•传统技术不是用来检测精细的欺诈团伙。通过相连的数据点分析图形数据库为此增加了价值。
图形数据库是高效和易于管理的欺诈检测解决方案的理想推动者。 从欺骗团伙和串通团伙, 到受过教育的罪犯自己运作,图形数据库能够发现各种重要的欺诈模式——而且都是实时的。
使用案例2:实时推荐引擎
不管您的企业是运营零售、社交、服务或媒体行业,为您的用户提供高度针对性、实时的推荐对于最大化客户价值和保持竞争力至关重要。与其他业务数据不同,推荐必须是引人的以及基于情境的,以便被终端消费者认为它们是相关的。
使用图形数据库,您可以捕获客户的浏览行为和统计数据,并将其与购买历史相结合,即时分析其当前的选择,然后马上提供相关的推荐——一切都在潜在的客户点击竞争对手的网站之前完成。
为什么要使用图形数据库来为实时推荐引擎提供支持?
启用实时推荐的关键技术是图形数据库。 图形数据库还在连接大量买家和产品数据(或概括地讲连接的数据)方面胜过其他数据库技术。
制定有效的实时推荐取决于了解实体之间的关系,以及这些关系的质量和效力。 只有图形数据库可以根据用户的购买、交互和评论,有效地跟踪这些关系,为您洞察客户需求和产品趋势提供最有意义的信息。
图形推荐引擎可以采取两种主要方法:识别个人感兴趣的资源;或识别对给定的资源可能感兴趣的个人。使用任何一种方法,图形数据库都会产生必要的相关性和连接,从而为考虑中的个人或资源提供最相关的结果。
例子:沃尔玛和eBay
零售行业的佼佼者沃尔玛已销售4600余亿美元,雇佣了220万名世界各地的合伙人,服务于全球27个国家的11,000家门店和10个国家的电子商务网站,每周有2.45亿客户。 他们的研发团队决定使用图形数据库,通过使用有关用户偏好的信息来提供实时产品建议。
沃尔玛软件开发商Marcos Wada表示,图形数据库“帮助我们了解我们的在线购物者的行为以及我们的客户与产品之间的关系,为实时产品推荐提供了完美的工具。”
电子商务巨头eBay也发现使用图形驱动建议引擎是成功的,在这个例子中,是一个复杂的实时快递/包裹路由解决方案。
eBay的高级开发者Volker Pacher表示,他的团队建立了一个图形数据库,比他们以前使用的MySQL解决方案快几千倍,查询需要的代码量也少10-100倍。 如今,他们的图表数据库为eBay提供了以前是不可能的功能。
结论
使用图形数据库存储和查询推荐数据可以让您的应用程序提供实时结果而不是预先计算的,陈旧的数据。随着消费者期望的增高,以及他们的耐心的减少-提供一些相关的、实时的推荐将成为比以往更大的竞争优势。
实时推荐引擎为零售、物流、招聘、媒体、情感分析、搜索和知识管理提供了一种关键的具有区分性的与众不同的能力
使用案例3:主数据管理
主数据是您企业的命脉,例如以下数据:
•用户Users
•顾客Customers
•产品Products
•帐户Accounts
•伙伴Partners
•站点Sites
•业务部门Business units
许多业务应用程序使用主数据,并且这些通常在许多不同的地方保存,存在大量的重叠和冗余,使用不同的格式,并具有不同程度的数据质量和访问方式的差异。主数据管理(MDM)是识别,清理, 存储和——最重要的管理这些数据的最近实践。
MDM最佳实践在从将所有主数据合并至一个地方,到管理数据资产以便从单一服务或应用程序轻松访问等各任务中,均有所差。在这两种情况下(或任何混合方案),随着业务需求的变化,企业数据架构师都需要有一个数据模型以方便的提供临特定的、变化的和特殊的结构。 这种快速演变的模型最适合图形数据库。
为什么要使用图形数据库进行主数据管理解决方案?
由于主数据是高度连接和共享的,构建不佳的MDM系统使业务敏捷性降低,并在整个企业中蔓延。大多数传统的MDM系统依赖于关系型数据库,关系型数库未针对遍历关系或快速响应进行优化。
在您的主数据集的数据连接及其之间关系对于业务分析发展的竞争优势至关重要。 好消息是图数据库是你的主数据中建模、存储、查询层次结构、元数据和连接的理想选择。
使用图形数据库,相比建立关系型数据库解决方案,可以使您的主数据更容易建模和减少成本(建模者,架构师,DBA和开发人员)。 另外,使用图形数据库,您不必将所有主数据迁移到单一位置。图形关系轻松地将您分散在CRM系统、库存系统、会计和销售点系统中的孤立数据连接到一起,为您的企业数据提供一致的视图。
例子:员工层级数据
在主数据中,层次结构是节点在其上方和下方具有其他节点的任何结构,且可能具有多个分支。主数据层次结构的一个例子是员工汇报和监督结构。
一个小的层次结构,如左边的一个,在关系数据库中很容易建模和维护。 但是,一旦我们建立了更大的员工群体, 查询和维护数据都会变得更昂贵。例如,如果员工得到晋升,员工参与的每个层级的每个关系都必须重新设置。
当然,这种纯粹的等级制度在现实世界中很少存在。 员工经常向多人汇报,有时汇报关系只存在于过渡原因(如工作跟踪或覆盖)。事实上,大多数商业等级实是充满现实生活的复杂性和多种关系的网络。 参见上面右图的第二个例子,我们早期的层次结构被重新设想为一个更现实的网络(或图)。
随着业务需求的变化,传统的层次结构需要使用图形数据库重新映射为更容易和更灵活地建模的网络。 虽然所讨论的例子只与员工汇报关系有关,但同样的原则也适用于主数据网络中的产品列表、文档关系和销售或客户数据。
结论
最好的数据驱动的业务决策不是基于陈旧的信息孤岛。 相反,您需要拥有关数据关系的信息实时主数据。
图形数据库天生就支持数据关系。 使用更高效的建模和查询,用图组织主数据将更快产生更相关的答案,并比以往任何时候都具有更多的灵活性。
使用案例4:网络和IT运维
按其性质,网络就是图。图形数据库,因此,是一个很好的合适的建模、存储和查询网络和IT运维数据,无论你的业务是在防火墙的哪一边——无论是一个通信网络或一个数据中心。
如今,图形数据库正在被成功的应用在电信、网络管理、影响分析、云平台管理、数据中心和IT资产管理这些领域。
在所有这些领域,图形数据库存储配置信息,实时提醒运维人员基础设施中潜在的共享故障模式,并将问题分析和解决时间从数小时缩短到几秒钟。
为什么要使用图形数据库进行网络和IT运维?
与主数据一样,图形数据库用于将来自不同的目录系统的信息汇总在一起,提供网络及其消费者的单一视图,从最小的网络元素到应用程序、服务和使用它们的客户,都囊括其中。
网络的图形表示使IT管理者可以对资产进行登记、可视化它们的部署和识别两者之间的依赖关系。图的连接结构使网络管理者能够进行复杂的影响分析,回答如下所列出的一些问题:
•网络的哪些部分——哪些应用程序、服务、虚拟机、物理机器、数据中心、路由器、交换机和光纤——被特定客户所依赖?(自上而下分析)
•相反,如果特定的网络元素(如路由器或交换机)失败,哪些应用和服务,最终,网络中的客户将会受到影响?(自下而上分析)
•对于最重要的客户,整个网络中是否存在冗余?
网络的图形数据库表示也可以用于基于事件的相关性丰富操作智能。 每当事件相关引擎(如 复杂事件处理器 )从低级别的网络事件流推断复杂事件,它评估该事件对图形模型的影响,并触发任何必要的补偿或减轻行动。
例子:欧洲的一家大型电信供应商
为了展示图形数据库在IT和网络运营部门的使用,这里提供一个帮助欧洲最大的电信提供商之一实现图形数据库解决方案的软件顾问的采访的摘录。
“这个电信供应商有一个非常大的复杂网络,有许多孤岛和流程——包括网络管理信息分布在超过三十多个系统上。大量的数据源,部分是由于网络的复杂性,部分原因在于不同的业务部门,以及组织增长中的兼并和收购。 这些不同的来源也创造了一个非常非线性的织物,以至于必须从各个维度进行建模和理解。”
“在使用图形数据库之前,它们将不同的网络层存储在不同的系统中-例如,一个系统可能是致力于电池塔,另一个用于光纤电缆,另一个用于消费者或企业客户的信息。”
“他们的业务挑战之一是关于维护和确保冗余-他们需要知道他们是否撤下了一个设备进行维护,谁可能受到影响,代价是什么,以及什么替代方式可能更好减轻影响。”
“实现图形数据库解决方案”几乎是一个梦想中的商业案例,因为您可以衡量项目的收益,因为电信提供商开始管理影响其许多实际客户的生产级别的变化。
“由于图形模型的灵活性,在实现图形数据库模型和影响分析查询之后,很容易将应用程序扩展到支持单点故障(SPOF)检测。 另外, 领域视图,来自不同孤岛的专家可以首次合作,并就共同领域术语达成一致。“
结论
发现、捕获和理解复杂的相互依赖关系是有效运行网络和IT运维的核心,是运营企业的关键部分。是否优化网络或应用程序基础架构或提供更高效与安全相关的访问-这些问题涉及一系列复杂的物件和人的相互依赖关系,对于管理来说,这是一个挑战。
·网络和基础设施元素之间的关系很少是线性的或纯粹的层次结构。 图形数据库被设计为存储互连的数据,使其将网络和IT数据转化为可执行的建议变得容易。
使用案例5:身份和访问管理
身份和访问管理(IAM)解决方案存储有关各方的信息(例如, 管理员,业务部门,最终用户)和资源(例如,文件,共享,网络设备,产品,协议)以及管理获取这些资源的规则。IAM解决方案应用这些规则来确定哪些人可以或不能访问或操纵资源。
传统上,身份和访问管理已经通过使用目录服务或通过在应用程序后端中构建自定义解决方案来实现。 然而,分层目录结构无法应对分散在多方供应链中发现的复杂的依赖结构。随着数据集大小增长,定制的非图形数据库存储身份和访问数据得解决方案,变得缓慢和反应迟钝。
为什么要使用图形数据库存储身份和访问数据?
图形数据库可以存储复杂的密集连接的分散在数十亿的参与方和资源的访问控制结构。其丰富且可变的结构化数据模型支持层级和非层次两种结构,而其可扩展属性模型允许捕获系统中每个元素的丰富元数据。
使用可以遍历每秒数百万关系的查询引擎,图形数据库可以在数毫秒执行大型的复杂结构的访问查找,而不需要几分钟或几小时。
与网络和IT运维一样,图形数据库访问控制解决方案允许自顶向下和自下而上的查询兼容:•哪些资源-公司结构,产品,服务,协议和终端用户-特定的管理员可以管理吗? (自上而下)
•给定一个特定的资源,谁可以修改其访问设置? (自下而上)
•终端用户访问哪些资源?
由图形数据库提供的访问控制和授权解决方案特别适用于内容管理、联合授权服务、社交网络偏好和软件即服务(SaaS)产品等领域,以实现超越其关系数据库前辈几分钟到几毫秒的性能提升。
例子:Telenor Norway
Telenor Norway公司是一家国际通信服务公司。 几年来,它使其客户有能力自助他们的账户。使用一个基于浏览器的应用程序,每个应用程序的管理员可以根据员工的行为添加和删除服务。
确保用户和管理员仅查看和更改那些他们有权获得的服务,应用程序采用复杂的身份和访问管理系统,为数百万用户在数千万个产品和服务实例上分配权限。
左边是Telenor数据模型的例子。
由于性能和响应性问题,Telenor决定用图形数据库解决方案来替换现有的IAM系统。 他们的原始系统使用了关系数据库的递归连接(recursive JOINs)来建模复杂的组织结构和产品层次结构。
由于采用了这种连接密集式的模式(join-intensive
model),他们最重要的查询速度太慢了,以致不可接受。
相比之下,实现了图形数据库解决方案之后,Telenor实现了处理其身份和访问管理所必需的性能、可扩展性和适应性需要,将查询由花费了几分钟到几毫秒。
结论
对于企业组织来说,管理多个变化的角色、组,产品和授权已经是一项越来越复杂的任务。 关系数据库根本不符合管理您的身份和访问任务的要求,因为查询太慢了反应太迟钝了。
使用图形数据库, 您可以无缝地跟踪您所有的身份和访问关系的实时结果,沿着直观的关系连接数据。 通过数据的互连视图,您比以往任何时候对数据有更好的见解和控制。
回顾: 图形数据库竞争优势
图形数据库的这五个使用案例并不是一个全面的列表,但是它们确实突出了图技术的一些有影响力和有利可图的应用。
几乎每个企业都受益于欺诈检测、主数据管理和实时推荐引擎。 此外,没有哪个大型企业不面临着对不断增长的IT网络或越来越多的用户身份进行管理和监控。
即使如此,还有很多其他图技术的用例,包括物流与路由、生命科学、社交网络、游戏 , 政府、体育、甚至非盈利组织。
如今的首席信息官和首席技术官面临越来越大的压力,随着数据集越来越大、更加笨重,他们依然要能从这些大数据中提供可行的见解和建议。他们需要的是适当的技术来确定数据点之间的连接并导出有力的结论。
图形数据库就是这样的技术解决方案。 它们允许每个级别的数据专业人员利用他们的数据 关系的潜力,而不是只是独立的数据点。利用这些关系的唯一限制才是数据库用户的想象。
图形数据库是大数据世界中不断上升的潮流-不仅仅是一时的兴致,接入该技术的企业将获得重大的竞争优势。