第四章大数据的数据整合、交换与交易

数据处理流程：
数据源界定--数据的抽取和整合--数据分析--可视化--应用

数据整合过程要素：
1.统一模式，制定标准
2.构建适合结构化和非结构化数据融合的数据模型
3.重视数据质量和数据可信度
4.重视数据安全管理，确保大数据生态圈信息安全

大数据平台整合

1.HDFS分布式文件系统
2.MapReduce分布式计算框架
3.HBase分布式数据库
4.交互式数据查询分析
Hive，Pig
5.数据收集转换工具
Flume，Sqoop
6.其他大数据平台
Storm，Spark

大数据与存储架构的整合

1.传统存储架构
2.集群存储的发展
3.基于HDFS的集群存储
4.固态硬盘对内存计算的支持

UEF--统一以太网结构
SDN--软件定义网络

1.Hadoop计算环境下的数据整合问题
整合传统数据源，HDFS之上的数据源间的整合
2.数据库整合工具Sqoop
3.hadoop内部数据整合工具HCatalog

1.数据集成技术
2.数据交换体系应用框架
数据源层--数据交换层--数据共享层--数据处理层--数据展示层
3.数据交换关键技术
web service：SOAP和Restful
数据交换格式：XML和JSON
企业服务总线ESB

1.大数据交易产业链
2.大数据交易业务模式分析
交易中介，数据产品交易，数据再生产交易
3.大数据交易发展趋势

最后编辑于：2019.04.30 08:47:39