Linux-本地单机大数据测试环境.md# Linux单机大数据环境-本地开发测试环境
ssh
ssh登录两种需要输入内容校验的情况
注意:localhost不等同127.0.0.1,也与majia-pc不同:这是ssh 主机;
想要免密登录以下命令不要输入任何字符,负责登录时会校验rsa字符串
ssh-keygen -t rsa -C "majia@localhost" -f local_rsa
对应生成的pub内容后缀:
majia@localhost;如果是majia-pc就是majia@majia-pc
执行命令:就可以免密登录localhost
cat local_rsa.pub >> ./authorized_keys
注意linux默认不开启ssh服务端,一旦有连接22端口就会报错:
22端口 refuse conn,只开启客户端:开启服务
systemctl start sshd.service
*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，
即使没有master或者master文件为空默认当前主机启动SNN,除非注释掉dfs的SNN启动停止脚本内容;
hadoop standalone模式下在家目录下生成数据文件夹(即配置文件不生效).为了使用自己的目录最好执行hadoop namenode -format 做成伪分布式模式(配置文件生效)
注意:执行命令前namenode的配置hdfs://127.0.0.1:9001不能是localhost的否则还是启动不了namenode,报错说家目录下生成的数据文件夹找不到;数据文件夹不要有中文路径
debian系红旗系区别:
debian系设置开机启动
systemctl enable httpd.service
红旗系:chkconfig httpd start
Flume
flume-env.sh配置
export JAVA_HOME=/usr/lib/jvm/default-runtime/
FLUME_CLASSPATH="/opt/apache-flume-1.8.0-bin/lib"
/opt/apache-flume-1.8.0-bin/bin/flume-ng agent --conf conf --conf-file /opt/apache-flume-1.8.0-bin/conf/flume-conf.propertie --name 配置文件组件前缀即agent名字 -Dflume.root.logger=INFO,console
ZOOKEEPER
配置文件
dataDir=/home/majia/hadoopdata/zookeeper
clientPort=2181
Kafka
0.8单机模式配置文件
server.properties配置
broker.id=0
port=9092
host.name=localhost
log.dirs=/home/majia/hadoopdata/kafka/
log.cleaner.enable=true
zookeeper.connect=localhost:2181/kafka
zookeeper.properties
dataDir=/home/majia/hadoopdata/zookeeper/
启动kafka
bash /opt/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh config/server.properties
创建主题
/opt/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka
创建消费者
/opt/kafka_2.11-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test
创建生产者
/opt/kafka_2.11-0.8.2.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
HADOOP-伪分布式
SSH配置如上:开启sshd开机服务,创建localhost免密登录
创建所需文件夹var,dfs/name|data,tmp
配置hadoop的配置文件
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/default-runtime/
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/majia/hadoopdata/tmp/</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9001</value>
</property>
hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/majia/hadoopdata/dfs/name/</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/majia/hadoopdata/dfs/data/</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
mapred-site.xml
<property>
<name>mapred.local.dir</name>
<value>/home/majia/hadoopdata/var/</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
-
格式化namenode
/opt/hadoop-2.8.1/bin/hadoop namenode -format
ElasticSearch
修改es安装目录所属用户组和用户(如果是在普通用户sudo mv 到/opt/下默认/opt/es/属于该普通用户就不用修改)
-
修改配置文件elasticsearch.yml
cluster.name: es-v5 node.name: esv5-0 path.data: /home/majia/下载/esdatav5
Kibana
解压mv到/opt/目录下即可,不需要额外配置.=Linux-本地单机大数据测试环境.md
