南大通用GBase 8a基于Netezza迁移方案（二）-GBase 8a替换Netezza项目案例

原文链接：https://www.gbase.cn/community/post/4133

更多精彩内容尽在南大通用GBase技术社区，南大通用致力于成为用户最信赖的数据库产品供应商。

1 大数据平台项目

1.1项目概况

项目背景

此项目从2010年就开始构建大数据分析的技术基础并自主开发了一套外汇非现场检查系统，包括近200项分析指标，可以涵盖银行、非银行金融机构、企业、个人等各类涉汇主体，监测货物贸易、直接投资等几乎所有的外汇收支、结售汇交易乃至其交易对手和业务经办行的情况。该系统通过大数据分析，可以从浩如烟海的外汇交易数据中筛选出可疑和违规交易,发现跨区域重大外汇违规案件线索，并勾画出可疑和违规交易主体资金运作的整体轨迹，迅速准确锁定外汇违法违规主体。在对中、农、工、建、交、中信、招商等多家银行开展外汇业务合规经营专项检查中，重点查处银行跨市场、跨行业及跨境违规套利行为，利用银行代客金融衍生品交易、结售汇新兴业务等外汇业务创新产品规避或者违反监管规定等行为。

需求分析

银行是外汇交易的主体，此项目建立了对银行大数据分析的常态化检查机制。近年来，在摸清银行有关外汇业务系统和数据库结构的基础上，成立银行数据分析小组，按季度提取银行数据，对银行外汇业务情况进行非现场分析与监测，掌握各银行结售汇综合头寸、跨境资金交易等外汇业务的合规经营情况。如何选用适合的软硬件产品构建大数据平台，对海量数据进行有效分析，成为本期关注的重点。对大数据平台的产品选型，需求可总结为如下两点：

自主可控：此项目是重要的金融机构，数据安全是系统建设的基础，因此要求采用国产化产品，满足国家自主可控战略；

高性能：满足外汇局的实际业务需求，保证数据平台的处理性能

1.2解决方案

在当前复杂多变的国内外环境中，在自主可控的大战略下，经过严格筛选，GBase 8a MPP Cluster产品从众多备选产品中脱颖而出，作为此项目大数据平台的核心产品，已使用到银行非现场检查项目中，承接了外汇数据，银行数据，存储周期大概10年的全量数据。未来会根据业务的需求对GBase产品进行扩容，并支持更多更为复杂的项目。本期采用的GBase 8a MPP Cluster产品主要任务是承接外部银行传输的数据，存储管理内部数据，为上层应用层提供及时有效的数据查询分析支撑。本期采用了曙光系列高性能服务器6台，实施部署6个节点的GBase 8a MPP Cluster数据库集群，其中3台作为coordinator管理节点，6台作为data数据节点，1台文件服务器。

1.3 应用效果

核心基础设施国产化：大数据平台采用国产数据库GBase 8a MPP Cluster作为数据存储、管理的核心产品，充分保障了系统安全，实现自主可控，成为金融行业大数据平台建设标杆。

提升性能：南大通用GBase 8a MPP Cluster产品完全满足实际业务需求，实现海量数据的高效查询，大大提升了外汇业务大数据平台的性能。

优质服务保障：全方位一体化的产品服务，为用户提供了全方位的保障。

2 某商业银行数据仓库项目

2.1 项目概述

项目背景

此商业银行遵循商业银行经营规律，对标行业先进，注重改革创新，以市场化专业化为导向，以“成为客户体验一流、价值创造能力领先的现代金融企业”为愿景，实现成为管理规范、经营稳健的现代商业银行和四川经济社会发展的金融主力军。

本银行积累了丰富的业务数据，数据总量急速增长，数据资源呈现海量、快速增长等特点，原有的Netezza数据仓库系统已存在使用瓶颈，不能满足银行发展的数据产出需求，迫切需要以新的思路、新的方法、新的技术来逐步解决。考虑到国内银行业采用基于开放X86的MPP架构数据库构建结构化数据处理平台及分析应用已经成为一种趋势，故此次采用构架于X86服务器上的MPP数据库，替换原有Netezza数据仓库一体机。

关注问题

原数据仓库系统采用的是Netezza数据仓库一体机，目前可使用的裸数据容量约为25TB。此次数据仓库替换以提升数据处理容量，提高批量数据处理效率，增强数据库横向扩展能力为目的。同时，建设中注重信息安全体系的建设，提高数据的整体安全性，进一步保证数据安全。

原有数据仓库系统主要面临的问题有：

随着业务数据的增加，原有数据库容量已达到瓶颈；

原数据仓库存在宕机情况，有一定的安全风险；

原Netezza数据仓库已过维保年限，技术支持响应不及时。

建设要求

MPP数据仓库平台需要满足以下要求：

低硬件成本：完全使用x86架构的 PC Server，不需要昂贵的Unix服务器和磁盘阵列；

高扩展性、高可靠性：支持集群节点的在线扩容和缩容；备份和容灾能力，无故障数据丢失；

标准统一，满足SQL92及JDBC、ODBC接口；

支持X86、Linux；

技术符合目前数仓大数据发展需要，具有一定先进性。

2.2 解决方案

此次替换数据仓库使用GBase 8a MPP Cluster完成海量数据的统一存储、管理、信息共享和数据资源服务，并作为应用系统的支撑，针对不同的业务建立不同的专题，建立完善的数据采集、加载、存储、分析和应用展示的架构。

系统总体架构如下：

数据仓库架构说明：

数据来源层：是银行现有的各种业务系统；

抽取加载层：通过ETL的工具，从源系统中将海量数据抽取出来进行抽取、加载、转换等操作；

存储管理层：采用GBase 8a MPP Cluster建设，加载机将海量数据进行清洗后，按照一定的规则，将数据按照一定的规律分发到各节点上，建立数据主仓——数据仓库和数据集市，集市根据仓库的业务不同，各集市的规模也不同；

分析展示层：银行通过第三方分析挖掘工具将数据从数据仓库或数据集市中提取出来，进行进一步的分析，加载到相应的业务模块中；

应用门户层：银行的内部系统或外部系统，通过中间件将各个模块所需要的数据整理后通过门户网站呈现出来。

2.3 应用效果

实施完成情况

此商业银行部署两套4节点GBase 8a MPP Cluster，并建立为双活集群。主库加工作业完成后通过同步工具自动同步更新到备库。

目前已完成Netezza到GBase 8a MPP Cluster的数据迁移，业务数据量约为25TB。已稳定运行超过400天。

效果及价值

动态扩展：系统可扩展能力强，支持集群动态扩展，且性能随着节点的增加而线性提升。

数据迁移：实现了第三方数据库无风险迁移到GBase 8a MPP Cluster数据库的全面解决方案。迁移工作做到了，过程标准化、工作简单化、风险最小化。

高可用性：双活同步机制可以保证在每天集群级同步批量完成后，主备集群的数据完全一致。保障了数据和服务的高可用性，即使主集群出现故障无法短期恢复的场景，也可以迅速完成集群切换，使用备库提供数据和服务，充分保障了集群的高可用性。

低投高效：GBase 8a MPP Cluster运行于低成本X86 PC Server，具有高性能，低成本的特性。

可视化、易维护：便捷易用的集群可视化管理工具，功能齐全，方便运维人员管理维护集群，极大提升生产效率。