学习大数据要有这样的学习思路才行

我们在系统学习大数据的之前,要先了解大数据开发是在什么系统平台下进行的。所以我们在学之前要先学习Linux的知识,这部分显得格外的重要。

1、Linux学习

学习如何使用VMware安装Linux镜像------认识linux的桌面环境、shell环境------在shell环境下进行文件系统的操作,掌握more、touch、cp、mv、rm等20多个常用命令------学习linux的网络管理,掌握ip、hostname等设置------学习vmware与linux的通信设置,掌握如何实现host-only、bridge、nat等网络连接方式------学习linux的进程管理,掌握如何查看、删除进程------学习linux的软件管理,掌握java、mysql等安装------学习环境变量配置,掌握如何设置环境变量------学习linux的ssh管理,掌握如何实现免密码登录------学习linux的防火墙管理,掌握如何关闭防火墙及开放指定端口------学习linux的调度管理,掌握crontab的使用

这些差不多就是Linux的学习要点了,只有掌握了这部分的内容,在学后面的知识点时才能更加的得心应手。

2、hadoop学习

搭建伪分布实验环境------HDFS体系结构及shell、java操作方式------MapReduce体系结构及各种算法

这里的hadoop知识点当然还有很多很多,像图片下方的知识都是重点学习的内容,想要系统学习的同学可以看一下学习路线系统学习

3、zookeeper学习

Zookeeper是什么------搭建zookeeper集群环境------如何使用命令行操作zookeeper------如何使用java操作zookeeper

4、HBase学习

hbase的概述------hbase的数据模型------hbase的表设计------hbase的伪分布式和集群安装------hbase的shell操作------hbase的JavaAPI操作------hbase的数据迁移------hbase的数据备份及恢复------Hbase结合Hive使用------hbase的集群管理------hbase的性能调优

5、CM+CDH集群管理学习

CM + CDH集群的安装------基于CM主机及各种服务组件的管理------CDH集群的配置和参数调优------CDH集群HA配置及集群升级------CM的监控管理------集群管理的注意事项

6、Hive学习

Hive支持的数据类型------Hive数据的管理------Hive的查询------Hive的函数------Hive的文件格式------项目实战

7、Sqoop学习

Flume的体系结构------flume的agent配置信息------flume如何动态监控文件夹中文件变化------flume如何把数据导入到hdfs中------讲解如何通过flume动态监控日志文件变化,然后导入到hdfs中

以上的知识点可以说是系统大数据学习中最重要的环节,我们可以把它们统筹归结到一个章节内,当然除了以上的知识点还有很多的知识要学习。

比如:

机器学习的知识:R语言------mahout

storm流式计算:kafka------srorm------redis

spark内存计算:scala编程------spark core------spark sql------spark streaming------spark mllib------spark graphx------python机器学习------spark python编程

云计算平台:docker------kvm------openstack云计算

等等......

以上学习线路只是系统的学习方向,详细知识点如果有想了解的朋友可以留言互加好友分享

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,608评论 0 34
  • 课程一、大数据运维之Linux基础本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习Hado...
    101之歌阅读 1,630评论 0 2
  • 夏译:X.T.S组合队长,国内一线明星。王俊凯未来老婆。 唐雪儿:X.T.S组合成员,国内一线明星。王源未来老婆。...
    胡雯兮后援团阅读 125评论 0 0
  • 文/一土 许多人习惯称淘宝为“某宝”,这样做的目的是为了消除广告嫌疑。其实,我觉得这样称呼,更容易成为广告。我们的...
    雨下撒哈拉阅读 258评论 0 2
  • 阿Kim鼻炎又犯了,刚过完年,天气就开始捉摸不定,换季感冒和分手一样开始流行。 阿Kim和Lily是大学同学,又是...
    程子峰阅读 250评论 0 0

友情链接更多精彩内容