第一篇： 大数据环境安装说明 |《自己动手做大数据系统》读书笔记

1 总体架构

本书浅显易懂，实战性强，以一个实战项目入手，系统性的介绍了如何做一个大数据系统的整个过程。本书另一个亮点是提供了在线演练平台http://www.feiguyun.com/support/。

实战项目的总体架构图：

书中详细的描述了如何利用爬虫、Sqoop等获取数据，如何利用HDFS、HBase等存储大数据，如何利用MapReduce、Hive、Pig、Python、Spark等技术处理大数据，如何利用Spark及R分析展示大数据的整个过程。

2 数据流程图

数据流图：

公共数据包括微信、微博、公共网站等公开的互联网数据。

企业应用程序的埋点数据包括软件系统的日志记录、页面的点击记录等行为数据。

企业结构化数据包括用户注册、交易等结构化数据。

3 各功能组件

4 实施规划

参考书中规划的集群节点，使用VirtualBox虚拟机及Ubuntu操作系统进行搭建。

规划如图：

5 操作系统基础环境配置

客户端使用SSH分别登录到master,slave01,slave02，创建hadoop用户及用户组，修改hostname。以master为例：

client:~ client $ ssh user@192.168.1.245
user@192.168.1.245's password:  # 输入user用户密码
Welcome to Ubuntu 14.04.6 LTS (GNU/Linux 4.4.0-142-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

68 packages can be updated.
58 updates are security updates.

Last login: Tue Apr 23 14:01:24 2019 from 192.168.1.153
user@master:~$ sudo groupadd hadoop
[sudo] password for user:   # 输入user用户密码
user@master:~$ sudo useradd -m -g hadoop hadoop
user@master:~$ sudo passwd hadoop
输入新的 UNIX 密码：          # 密码：hadoop
重新输入新的 UNIX 密码：       # 密码：hadoop
passwd：已成功更新密码
user@master:~$ vi /etc/hostname    # 如果不是master,则修改为master
user@master:~$ cat /etc/hostname
master

登录验证：

client:~ client$ ssh hadoop@192.168.1.245
hadoop@192.168.1.245's password: #  输入hadoop用户密码
Welcome to Ubuntu 14.04.6 LTS (GNU/Linux 4.4.0-142-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

68 packages can be updated.
53 updates are security updates.

New release '16.04.6 LTS' available.
Run 'do-release-upgrade' to upgrade to it.

Your Hardware Enablement Stack (HWE) is supported until April 2019.
Last login: Wed Apr 24 15:24:53 2019 from 192.168.1.153
hadoop@master:~$ whoami # 当前有效用户名称
hadoop
hadoop@master:~$ umask # 默认权限
0002

slave01，slave02配置相同。

注意事项：

1、Win10 WSL下安装Hadoop会遇到很多坑，不建议使用。
2、Spark默认内存1G，虚拟机内存分配不能小于1G，否则Spark工作节点不能启动。

6 总结

随着互联网的普及、移动互联网的不断发展、5G的到临、物联网的逐渐渗透，大数据技术的影响会越来越深远。因此掌握大数据技术也越来越重要，而大数据依赖各项基础开发，如Linux、Shell、 Python、 Java、 数据库、爬虫技术、数据分析、机器学习等都需要深入学习，并在工作中应用和实践。