早期风控中大量使用模型和历史数据作为输入,后来有了大数据,到现在的算法智能,风控手段不断的在提高。
(此文有点标题党,勿喷!)
模型 >>> 大数据 >>>算法智能
首先来说模型:
就拿FRM来说,FRM中大部分内容不是像大学课程那样教你模型是什么,也不是教你如何给模型输入数据得到结果的操作技能。而是告诉你模型的原理,以及最重要的知识——模型的优缺点:在各种不同历史数据和当时环境下的表现,FRM把这列为考试中重点的重点,而不是简单的计算。
FRM考试的题目来自天涯海角的GARP协会会员,题目和实际工作紧密相关。
在实务中,模型被误用、或数据不适合,而导致风控失败的案例不在少数,可以说是风控重点要解决的问题。这当中的关键是使用模型的人,GARP对FRMer的要求偏重实际使用模型的能力,所以题目也偏向如此。
模型能发挥的效果,取决于数据和使用场景。
其次来说说大数据:
大数据如雨后春笋般出现在各种应用场景,其诞生于对数据的挖掘。
有人说,大数据时代,数据就是“石油”,但这么说还不完整。
怎么使用大数据呢,可以有以下步骤:
一、学会python或其他语言,使用框架,写个入门代码。
二、掌握数据挖掘的算法
三、将算法在实际中运行,通过原始数据产生新的数据
四、将产生的新数据收集分析,再次挖掘
所以,数据是个周而复始产生的过程,不断产生的新数据与原数据之间的关系,可以检验算法的实际适用场景和效果,这才是真正有价值的“石油”。
最后是算法智能:
人工智能以模拟人类智慧为目的,以算法为驱动力,尝试各种替代人类对决策。早起曾应用于管理决策、医学诊断等。
以下是人工智能与数据挖掘的区别与联系
共同点:
都是基于大数据(不限于文本,包括:图像、音频等信息),在其上运行算法。
区别:
数据挖掘是对大数据进行分析,从中挖掘出有价值的数据,以及数据之间内在的联系,产出物是数据分析的结果。
人工智能是基于大数据进行各种模型与算法的训练,目的是让算法自己掌握数据中的规律。机器学习因使用的数据不同,在学习完后养成的”机器性格“也不同,产出物是训练完成的模型与算法。
联系:
人工智能训练完成的算法可用于数据挖掘使用,从而产出特定的数据分析结果。
有人认为,人工智能中机器学习是大数据的手段之一,但真正的人工智能应用,应产生出的是机器性格以及机器自身智能程度的提高。
人工智能与人类思维模式的对比
人类的思维模式大致可分为三类:
逻辑思维、抽象思维、具象思维。
逻辑思维是大众普遍拥有的,其中能力的高低就是平时一些智商测试类的题目能测出的部分。
抽象思维是在逻辑思维的基础上诞生的,对事物按照逻辑思维的方式进行理解其规律,做出要点总结的能力。
具象思维是一种在抽象思维的基础上通过逻辑思维作为桥梁而产生的思维模式,简单来说就是“以点及面”的能力。在探索一个未知的新领域时,依靠抽象思维作出的其他熟悉领域的总结规律通过逻辑思维去补上缺失的部分,形成具象化概念,从而把概念变成模型,再根据实践时的数据修正模型,最终达到再次抽象的效果。
而AI的发展也正经历这三种思维模式的模拟,正处于抽象思维领导的阶段。
早起的人工智能研究主要集中在模拟人类思维逻辑,通过输入某些数据,得出正确的结论,包括一些模拟人类神经的矩阵等,都是在机器上试图重建人类的逻辑思维。
近几年发展出的基于学习的理论、依靠大数据蓬勃发展的AI,主要是实现使机器具有抽象思维的能力。人类在抽象思维上速度和广度很难与现在的计算机相比较,如AlphaGo 打败 柯洁。
注:网上资料说的:抽象、逻辑思维和具象、形象思维与我文章中的定义概念不是一回事儿,切勿混淆。
实际应用场景——风控:
大数据风控强烈依赖数据和算法,包括AI风控也是如此。
大数据自身是无法判断算法是否被误用、数据是否合适,所以,选择适合场景的算法以及数据源就非常重要,直接影响实际使用的效果。
同样AI最后被训练成什么样的风控模型,这也是AI自己无法判断和左右的,一切取决于训练它的数据以及所使用的算法。
传统的风控模型都会有一定的假设条件,而挑选的数据源与使用场景是否符合其假设条件是其中的难点。
如果与假设条件有偏离,那么最终训练出的效果可能不是最好的,在实际使用时会起不到应有的预计效果。
每一次训练得到的结果都是“数据财富”,能够帮助完善AI的应用前景。