大数据体系

image.png

大数据应用领域

• 互联网领域
  搜索引擎,推荐系统,广告系统
• 电商领域
  用户画像,推荐系统,用户行为分析
• 医疗领域
  流行病预测,病情分析
• 视屏领域
  用户标签系统,视频分析,广告分析
• 金融领域
  风控系统,欺诈分析

学习方法

• 自主学习能力,动手能力
• 系统了解大数据生态系统技术框架
• 找到学习切入点,不断拓展知识结构的广度
  大数据平台开发,大数据分析
• 抓住一个技术方向,不断深入研究,增加知识结构的深度
• 主动学习探索新知识
• 定期知识梳理
  阶段性遗忘,定期梳理,会有新的认识

大数据必备技能

• 编程语言
• Linux 常用命令,Shell编程
• HDFS 原理,MapReduce原理及编程,Yarn原理,Hadoop集群搭建
• Hive原理,HQL,自定义函数,数据仓库设计
• Spark原理,SparkStreaming,SparkSql
• Kafka原理,配置搭建
• Flume 原理,搭建
• zookeeper 原理,搭建