Fintech核心技术及其在资本市场中的应用
大数据
基本定义
大数据指的是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据通过对海量数据的收集、处理和展示，使人类第一次可以无限接近真实地了解自然和社会，从而揭示规律，预测未来。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求，使数据能够从量变到质变，真正产生价值。近年来，经过多年的发展和积累，在互联网及智能硬件快速普及的当下，数据以爆炸方式增长，数据无论是在数量、速度还是种类上都发生了显著的变化。
资料来源：36Kr
技术构成
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，从数据处理流程来看，大数据技术可以分为5个部分：数据采集，数据存储，数据清洗，数据挖掘，数据可视化。数据采集有硬件采集，如RFID射频数据、传感器数据，有软件采集，如社交网络交互数据及移动互联网数据。数据存储就包括NoSQL，Hadoop等等。数据清洗包括语义分析，流媒体格式化等等。数据挖掘包括关联分析，回归分析，聚类分析等等。数据可视化包括Web可视化等等。
资料来源：作者
从大数据产业链来看，从底层架构到上层应用，基本上整个产业链是按照数据处理流程所需的大数据技术进行布局的。首先从数据源获取海量数据，然后经过有效的分析处理从而可以支撑大数据应用，完成“数据→信息→知识→决策”的一整套数据到应用变现链条。大数据挖掘、强化、分析这些中间技术环节构成了整个大数据产业的必要工具。过去几年对大数据挖掘、强化、分析的投资与建设已经帮助大数据工具在2015年基本成型，大数据工具走向成熟，开始能有效、及时、深入地处理、分析大数据源提供的海量数据，挖掘其中的价值从而支撑大数据应用。2015年是大数据应用元年也是大数据走向落地的关键年。
资料来源：中银国际
在资本市场的应用模式
资本市场方面，大数据金融价值凸显，营销、风控领域先行发力。资本市场对数据的依赖性极高，超8成大数据交易集中在银行、证券、保险领域。据统计，中国商业银行和保险公司数据量积累已达到100TB以上级别。大数据金融的出现，降低了资本市场融资成本和财务费用，提高了资本市场金融产品营销准确性，以此来实现全生命周期的风险防控，因此应用价值十分明显。预计在2020年，我国资本市场的金融大数据应用将达到450亿人民币。大数据在资本市场的商业模式按照是否有独特外部数据的所有权可以分为TAAS模式、分成模式和内部生态模式。TAAS（Testing as a Service）模式，又称测试即服务模式，利用内部数据（可以结合第三方数据）为用户提供大数据服务；分成模式，指的是同时拥有自身独特数据以及外部独特数据，为用户提供大数据服务；内部生态模式，指的是拥有自身独特数据，同时为自身的其他业务发展提供大数据服务。
资料来源：东北证券
在应用场景方面，由于资本市场对数据依赖性极强，而经过整合、分析、处理的大数据对业务蕴含价值更高，金融大数据的发展将为大数据的应用提供深厚的数据基础。现阶段的应用场景主要基于个人或企业精准画像的构建，已经实现在风控、定价、营销、征信、评级等多个场景的应用。
资料来源：东北证券
资料来源：作者
云计算
基本定义
云计算是指一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，而只需投入很少的管理工作，或与服务供应商进行很少的交互。
资料来源：广证恒生
云计算有3种服务模式：IaaS、PaaS及SaaS，这其实就是云计算的三个分层。基础设施在最下端，平台在中间，软件在顶端，分别是Infrastructure-as-a-Service(IaaS)，Platform-as-a-Service(PaaS)，Software-as-a-Service(SaaS)，区别在于云端提供服务种类不同。IaaS公司会提供场外服务器，存储和网络硬件，用户可以租用，从而节省了维护成本和办公场地。PaaS公司在网上提供各种开发和分发应用的解决方案，比如虚拟服务器和操作系统，这让分散的工作团队之间的合作变得更加容易。SaaS与用户的接触更广泛，任何一个远程服务器上的应用都可以通过网络来运行，这些都可以称作SaaS。
云计算有4种部署模式：公有云、私有云、社区云、混合云，区别在于受众范围不同。公有云一般是由云服务运营商搭建，面向公众的云计算类型；私有云是部署在企业内部，服务于内部用户的云计算类型；社区云是由数个有共同利益关系或目标的企业和组织共同构建的云计算业务，其服务面向这几个组织的内部人员；混合云则是包含了两种以上类型的云计算形式。
资料来源：广证恒生
技术构成
云计算一共有6大核心技术，除了构成基础设施的IaaS硬件层以外，还有编程模型、海量数据分布式存储技术、海量数据管理技术、虚拟化技术以及云平台管理技术。而且云计算的每种技术都有相应的开源程序。
资料来源：广证恒生
在资本市场的应用模式
云计算与资本市场结合，产生了为金融机构提供基于云的基础IT构架服务的金融云公司，帮助金融企业将业务迁移到云端，降低IT采购成本，实现弹性的、可快速实现和交付的IT环境。例如阿里金融云、腾讯金融云等，不仅为自身的金融业务提供云服务支持，也已经服务大量传统金融客户，开始构建基于云服务的生态。从实施效果来看，云计算可以降低金融公司的运营成本或者满足复杂运算分析需求。
资料来源：作者
对于资本市场而言，云计算能基本覆盖任何投资标的，包括股票/基金、固定收益、场内衍生品交易（ETD）、外汇/商品期货、场外衍生品交易（OTC）以及结构化产品。云计算在资本市场的商业模式主要分为前端模式、中端模式和后端模式。前端模式覆盖销售、交易前事务、交易中事务等环节；中端模式覆盖交易服务和交易进程处理；后端模式负责清算/结算以及结算后的事务。应用场景主要有公司活动、投资管理、合规报告、CRM、市场数据平台、分析。重要的应用场景是数据管理和合规&控制。在资本市场上，云计算通过三种服务模式和四种部署模式，分发资源给用户的笔记本、台式机、手机和平板电脑予以执行，主要服务于理财/基金经理、散户、机构投资者、交易所、券商经纪等用户。
资料来源：Infosys、作者
资料来源：作者
资料来源：Infosys、作者
区块链
基本定义
区块链（Block Chain）是基于分布式记账原理，使用去中心化共识机制维护一个完整的、分布式的、不可篡改的账本数据库，类似于一个公共、透明、海量的记账簿。区块链起初是比特币的一种底层技术，实现比特币交易的自动记录，且环环相扣、不可修改、不可删除，每笔记录交易信息公开且准确无误。
资料来源：EY
技术构成
核心技术
区块链是一个开放式的不受单一组织控制（由整个分布式网络维护）的分布式“账本”（分布式数据结构）。该技术融合了P2P网络、密码学和共识机制三类成熟技术，实现了去中心化交易过程中节点之间信息可靠传递、交易账户安全和节点之间传递的信息不会被修改（可靠的交易系统必须保证交易者账户安全以及交易不被篡改）。
资料来源：方正证券
共识机制
共识机制是区块链技术的核心，目前常见的共识机制除运用于比特币的 POW（Proof of Work，工作量证明）外，还有 POS（Proof of Stake，权益证明）， DPOS（Delegate Proof of Stake，股份授权证明）等。
POW：POW 机制是首个区块链应用比特币采用的共识机制，基于非对称加密原理，节点需要花费很大的算力解决一个数学难题（每个节点解决的数学难题的初始条件不同，但难度相同）才获得记账权限，而且其他节点可以很轻松地验证试图记账的节点的答案是否正确（POW 机制解决的数学难题具有难求解、易验证的特点）。此外，算法会评估每个节点的算力，并根据算力分配投票权限，某节点想要作弊时，必须获得系统51%票数，因此需要有系统51%算力，因而需要花费极高的成本。
POS：该机制背后的思想是，系统出问题时，持币越多的人面临的潜在损失越大，因而持币越多作弊的动机越小，从而给与其更多的记账机会，但在每一次记账后则减小其相应的下次记账概率，一段时间没有记账则增加其记账概率。
DPOS：在POS 机制基础上向前一步， 首先是投票选出一批代表性的节点（如101 个），然后这些代表性的节点再选出一个节点负责记录，其他节点核对记录，更大程度提高记账的效率。
资料来源：长江证券
基础架构
区块链的基础架构包括区块、区块头、创始区块及区块链分叉。区块用于记录数据，一旦书写就很难修改或移除；区块头由三组区块元数据组成，第一组链接前一区块，第二组即难度、时间戳和nonce，与挖矿竞争相头，第三组是merkle树根，是用来总结区块中所有交易的数据结构；创始区块是区块链的第一个区块，沿任一区块循链向后回溯，最终都将到达创始区块；从创始区块开始即会出现分叉，当创建两个区块的时间仅差几秒时，就会出现一个分叉区块，从而区块链的长度被拉长。
资料来源：方正证券
从技术角度理解，区块就是一种可检索、不能篡改的数据结构，它是前十位数字为 0 的超长随机数密码，必须指定上一区块，才能实现有序排列。而从应用角度理解，区块是定时记录一部分交易数据的全网公开并保护每个人交易稳私的账单。传统账单的页码是连续的数字，而区块链账单的页码是还需要指定上一页的页码，才能将账单有序排列。
网络架构
区块链的网络架构非常灵活，按照节点授权方式可分为：公共区块链、联盟区块链和私有区块链。
资料来源：36Kr
公共区块链（公有链，Public Blockchain）：公共区块链是指全世界任何人都可读取的、任何人都能发送交易且交易能获得有效确认的、任何人都能参与其中共识过程的区块链。公共区块链的安全由“加密数字经济”维护——“加密数字经济”采取工作量证明机制或权益证明机制等方式，将经济奖励和加密数字验证结合了起来，并遵循着一般原则：每个人从中可获得的经济奖励，与对共识过程作出的贡献成正比。这些区块链通常被认为是“完全去中心化”的。
联盟区块链（联盟链，Federated Blockchain）：联盟区块链是指其共识过程受到预选节点控制的区块链。区块链或许允许每个人都可读取，或者只受限于参与者，或走混合型路线。这些区块链可视为“部分去中心化”。 如R3 CEV银行联盟。
私有区块链（私有链，Private Blockchain）：完全私有的区块链是指其写入权限仅在一个组织手里的区块链。读取权限或者对外开放，或者被任意程度地进行了限制。如Nasdaq用的Linq。
三大网络架构都充分利用了区块链技术去中心化、去中介信用、数据可靠性等特点，只是在节点的接入和共识机制的建立方面存在区别。
资料来源：方正证券
主要特点
区块链技术可以在互相不信任的节点之间建立去中心化的信用体系。网络中的节点之间可以相互不信任，各个节点只需要信任区块链运行的算法本身（各节点对算法达成共识，如果某个节点对算法不信任就没有加入网络的需求），整个网络就可以实现可靠的交易和数据存储。区块链技术的主要特点是去中心化、不可篡改和加密安全性等。
- 特点一：去中心化。区块链的核心思想是去中心化，是分布式记录、分布式储存、分布式传播，数据的传输不再依赖某个中心节点，而是 P2P 的直接传输。它基于密码学原理而非信用，全网络的每个节点都依据共识开源协议，自由安全地传输数据。所有交易记录是对全网络公开的，每个节点都负责数据的记录、储存，没有中心化或第三方机构负责管理，一个节点出现问题，其他节点会继续数据的更新和存储，通过去中心化的方式，维持系统稳定运行，信息完整可靠。
资料来源：华金证券
- 特点二：不可篡改。区块链的不可篡改性由工作量证明机制与共识机制共同保证，最长的链条才被全网公认。一旦被记录，信息就不能被随意篡改，若要篡改，链条会出现分支，需要耗费大量的算力，只有当算力达到全网络总和的51%时才能修改已经被记录的信息，这样做的成本是巨大的，实现的可能性极低。
资料来源：方正证券
- 特点三：加密安全性。区块链通过数学方法解决了信任问题，依靠非对称加密和可靠数据库完成了信用背书从而不需要借助第三方机构来进行担保验证，只需信任共同算法即可建立互信。 非对称加密是通过利用公钥与私钥的配合而实现的。每个参与者都可用公钥来加密一段信息，而要解密时只有信息的拥有者才能用对应的私钥来接收。私钥的接收使用电子签名来验证，确保信息为真正的持有人发出。非对称加密将交换摩擦边界降到最低，保护个人隐私，确保加密安全。 这些优点的叠加可以解决两个长期存在于加密数字货币行业问题：“双花”问题（去中心化）和“拜占庭”将军问题（工作量机制）。
资料来源：中信证券
在资本市场的应用模式
区块链在资本市场中的潜在应用十分广阔：例如其记录功能有效降低银行的运营成本，区块链的信息透明性减少风险和工作难度，去中心化的支付与清算功能效率更高、速度更快，运用于交易所产权交易可显著提升登记、发行、交易、转让、交割清算效率等。虽然区块链目前在全球尚处于发展初期阶段，存在诸多技术、应用问题，例如记忆容量有限、对于隐私的保护、同步信息耗时过长等，但仍有众多主流金融机构积极探索其具体技术方案、应用场景和商业模式等。
资料来源：东吴证券
比特币是一种全球范围内可交易的电子货币，是目前区块链技术最成功的应用模式。当前银行等机构更多关注的也正是比特币背后的区块链技术。
资料来源：36Kr
区块链另外一个最有潜力的应用模式是智能合约。智能合约将是区块链技术发展的催化剂。分布式数据可靠存储主要由数据层、网络层和共识层共同完成，这三层构筑了智能合约的基础设施。区块链通过对智能合约开放底层数据和共识机制等算法接口，为静态的底层区块链数据赋予了灵活可编程的机制和算法，推动区块链的衍生应用发展。智能合约建立在数据区块之上的程序化规则，智能合约是部署在区块链上程序代码。智能合约经合约双方签署后，以程序代码的形式附着在区块链数据上，经P2P网络传播和节点验证后记入区块链的特定区块中。区块链实时监控智能合约状态，一旦外部数据满足智能合约的触发条件，智能合约就会执行相应的程序对触发条件自动响应。
资料来源：方正证券
对于具体的商业模式而言，区块链在资本市场的商业模式实现可以走加密电子货币、传统金融网络、金融服务区块链以及分布式总账四条道路。
资料来源：作者
加密电子货币商业模式主要是基于现有的比特币网络，实现电子货币交易确认、货币兑换、存储以及支付。其生态中包含电子钱包、比特币信用卡、比特币ATM、国际汇款、商业付款处理、通用型平台、交易所、矿工等公司。
传统金融商业模式是指各大传统金融机构在已有的基础设备基础上，利用区块链技术建立一个独立于目前区块链网络的去中心化、低成本的支付结算网络，生态中包括零售、商业银行，股权交易中心、汇款运营商、银行间网络、银行卡方案等公司。
金融服务区块链商业模式主要为传统金融机构提供基于区块链技术的商业平台和服务，主要包括证券&衍生工具&资产交易平台、机构投资、金融基础设施&API接口。
分布式总账商业模式将区块链技术拓展应用于除了货币及金融领域的其他去中心化应用领域（例如数字资产等领域），生态包括智能合约、彩色币&开放式资产、核心区块链协议。
对于具体的应用场景而言，区块链在资本市场有着丰富的应用场景，其在非高频交易、监管相对宽松或不明确、痛点较多的领域有望获得突破，如跨境支付、银行间清算、区域股权市场等。
数字货币：该领域区块链应用较多，一些技术创新和突破有可能在该领域发生，此外，从长期来看，一个稳定的非国家数字货币或有其存在的价值。 此外，央行也正在研发数字货币。
支付与清算：跨境支付与清算；银行间清算；场外市场交易清算。
金融资产发行与交易：区域股权市场股票发行、金融资产交易、票据交易。
资料来源：长江证券
国内方面，2015年7月深交所探讨了区块链在多层次资本市场的应用，判定标准为：1）业务存在无中心点特点；2）业务存在互联互通的需要；3）业务存在增信的需要；4）业务存在代码化的可能。根据深交所结论，国内二级证券市场不适合构建在区块链，一级市场、衍生品市场和区域股权市场可以构建在区块链上，应用前景令人期待。
资料来源：深交所
人工智能
基本定义
人工智能（Artificial Intelligence, AI）是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是对人的意识、思维的信息过程的模拟，其在初级阶段实现对简单劳动的替代，第二阶段则尝试替代复杂劳动。目前，人工智能尚在发展初期，代替人脑来进行决策尚早，但至少可以做到大规模的量化、替代部分人力分析的层面。
技术构成
技术架构
从技术分层的视角来看，人工智能可分为基础层、技术层和应用层三个层面，基础层最靠近“云”，应用层最靠近“端”。基础层作为人工智能技术的技术支持，各个细分技术必不可少，如大数据、云计算、智能芯片、传感器及智能硬件等，特别是大数据，其为人工智能技术层面的发展提供了数据基础；在技术层面，人工智能技术包括语音识别、图像识别、生物特征识别、机器学习、知识图谱、自然语言处理等；在应用层面，人工智能包括计算智能、感知智能和认知智能，目前尚未实现具有完整认知功能的人工智能。
资料来源：作者
在人工智能产业链中，基础层是构建生态的基础，价值最高，需要长期投入进行战略布局；通用技术层是构建技术护城河的基础，需要中长期进行布局；解决方案层直戳行业痛点，变现能力最强。
资料来源：云栖智库
核心技术
人工智能核心技术包括语音识别、图像识别、生物特征识别、机器学习、知识图谱、自然语言处理等。
语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
图像识别技术是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。
生物特征识别技术是指利用人体生物特征进行身份认证的一种技术。更具体一点，生物特征识别技术就是通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性和行为特征来进行个人身份的鉴定。
机器学习(Machine Learning, ML)技术是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
知识图谱技术是基于现有数据的再加工，包括关系数据库中的结构化数据、文本或XML中的非结构化或半结构化数据、客户数据、领域本体知识以及外部知识，通过各种数据挖掘、信息抽取和知识融合技术形成一个统一的全局的知识库。
自然语言处理（Natural Language Processing, NLP）技术是专门研究人与计算机交互的语言问题，其大致可分为两个层面，一个是浅层分析，如分词，词性标注，这些技术一般只需对句子的局部范围进行分析处理；另一个层面是对语言进行深层的处理，需要对句子进行全局分析。其中深层语言分析又可以分为三个层次：句法分析、语义分析、语用分析。
在资本市场的应用模式
从商业模式来看，在人工智能平台化的趋势下，未来在资本市场上，人工智能将呈现若干主导平台加广泛场景应用的竞争格局，主要的商业模式有生态构建者、技术算法驱动者、应用聚焦者、垂直领域先行者和基础设施提供者这五大类，其中生态构建者将成为其中最重要的一类商业模式。
资料来源：作者
- 商业模式一：生态构建者——全产业链生态+场景应用作为突破口。
关键成功因素：大量计算能力投入，积累海量优质多维数据，建立算法平台、通用技术平台和应用平台，以场景应用为入口，积累用户。
- 商业模式二：技术算法驱动者——技术层+场景应用作为突破口。
关键成功因素：深耕量化算法/策略和通用技术，建立技术优势，同时以场景应用为入口，积累用户。
- 商业模式三：应用聚焦者——场景应用。
关键成功因素：掌握细分市场数据，选择合适的场景构建应用，建立大量多维度的场景应用，抓住用户；同时，与互联网公司合作，有效结合传统商业模式和人工智能。
- 商业模式四：垂直领域先行者——杀手级应用+逐渐构建垂直领域生态。
关键成功因素：在应用较广泛且有海量数据的场景能率先推出杀手级应用，从而积累用户，成为该金融垂直细分行业的主导者；通过积累海量数据，逐步向应用平台、通用技术、基础算法拓展。
商业模式五：基础设施提供者——从基础设施切入，并向产业链下游拓展。
关键成功因素：开发具有智能计算能力的新型芯片，如图像、语音识别芯片等、拓展芯片的应用场景；在更多终端设备上广泛集成运用，提供更加高效、低成本的运算能力、服务，与金融细分行业进行深度整合。
资料来源：云栖智库
从应用场景来看，人工智能在资本市场上的应用场景主要有智能投顾、征信、风控、金融搜索引擎、身份验证和智能客服等，采用的AI技术主要有机器学习、自然语言处理、知识图谱和人脸识别等。
资料来源：36Kr
资料来源：36Kr
