Centos7上安装Redis5.05_20190805
查看系统版本号
cat /etc/redhat-release
以root用户安装Redis5.05,进行以下操作:
一、上传 Redis 安装包 redis-5.0.5.tar.gz 至 /home/bigdata 目录下
cd /home/bigdata
ls
解压redis安装包
tar -zxvf redis-5.0.5.tar.gz
创建软链接
ln -s redis-5.0.5 redis
修改 Redis 的文件夹权限为 777
chmod -R 777 redis
二、安装gcc,进入redis安装目录编译
安装gcc
yum install gcc
进入redis安装目录编译
cd /home/bigdata/redis
make
三、修改 redis 配置文件 redis.conf
cd /home/bigdata/redis
vi redis.conf
配置所有ip可以访问并关闭保护模式
将配置文件中bind 127.0.0.1 改为 bind 0.0.0.0 ,或者直接注释掉,所有ip可以访问。
将protected-mode yes 改为 no,关闭保护模式。
后台启动
将daemonize no 改为 yes
备注:配置文件配置项说明
1、daemonize介绍
A、redis.conf配置文件中daemonize守护线程,默认是NO。
B、daemonize是用来指定redis是否要用守护线程的方式启动。
2、daemonize 设置yes或者no区别
daemonize:yes:redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时,代表开启守护进程模式。在该模式下,redis会在后台运行,并将进程pid号写入至redis.conf选项pidfile设置的文件中,此时redis将一直运行,除非手动kill该进程。
daemonize:no: 当daemonize选项设置成no时,当前界面将进入redis的命令行界面,exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。
src/redis-server ./redis.conf
四、自定义redis配置启动,同时启动redis客户端连接
4.1、自定义redis配置启动
/home/bigdata/redis/src/redis-server /home/bigdata/redis/redis.conf
验证redis是否成功启动
ps -ef | grep redis
或者
ps aux | grep redis
4.2、启动redis客户端连接
/home/bigdata/redis/src/redis-cli
五、Redis Desktop Manager连接
Redis Desktop Manager 汉化版安装包 redis-desktop-manager.rar 下载地址:
https://www.7down.com/soft/233274.html
需要先关闭防火墙,no running表示已关闭。输入ip就可以连接上。
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state
Redis Desktop Manager 连接配置
名称: 192.168.1.26 Redis
Redis地址端口: 192.168.1.26:6379
六、
4、启动、重启、停止
启动redis
systemctl start redis
systemctl restart redis
systemctl stop redis
5、开机自启动
redis服务加入开机启动
systemctl enable redis
禁止开机启动
systemctl disable redis
6、查看状态
systemctl status redis
开启服务自启动
sudo chkconfig redis on
加入开机自启服务
sudoo chkconfig --add redis
ps -ef | grep redis
ps aux | grep redis
kill -9 8629
Redis 常见命令
hashmap redis 赋值
hset flink-test 'flink' 'flink'
hashmap 去除 key 为 flink-test 的所有键值对
hgetall flink-test
启动zookeeper(后台运行)
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
查看zookeeper是否运行
jps
6740 QuorumPeerMain
关闭zookeeper
bin/zookeeper-server-stop.sh config/zookeeper.properties &
启动kafka(后台运行)
nohup bin/kafka-server-start.sh config/server.properties &
或者
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
查看kafka是否运行
jps
7587 Kafka
关闭kafka
bin/kafka-server-stop.sh config/server.properties
1.4、使用kafka
1)、创建topic:
/home/bigdata/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic apache-flink-test
2)、查看topic:
/home/bigdata/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
3)、生产者
/home/bigdata/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic apache-flink-test
4)、消费者
/home/bigdata/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic apache-flink-test --from-beginning
该命令中含有过时方法 --zookeeper,该方法在老版本kafka0.90之前使用
/home/bigdata/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic apache-flink-test --from-beginning
备注:消费kafka时遇到的问题:kafka 创建消费者报错 consumer zookeeper is not a recognized option
在做kafka测试的时候,使用命令bin/kafka-console-consumer.sh --zookeeper 192.168.0.140:2181,192.168.0.141:2181 --topic test --from-beginning启动消费者,发现一只报错consumer zookeeper is not a recognized option,搜索了半天,一只没有解决,最后,换了一个低版本的kakfa,发现在启动的时候说使用 --zookeeper是一个过时的方法,此时,才知道原来在最新的版本中,这种启动方式已经被删除了,
最后附上0.90版本之后启动消费者的方法: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
CSDN参考链接:
kafka 创建消费者报错 consumer zookeeper is not a recognized option
https://blog.csdn.net/csdn_sunlighting/article/details/81516646
kafka中消费 kafka topic 后应该关闭消费进程
(1)使用消费命令时,用 Ctrl + C 关闭消费进程
(2)jps -m 查看kafka消费进程号,之后杀死对应的进程
jps -m
kill -9 进程号
5)、删除topic
/home/bigdata/kafka/bin/kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】
[server.properties需要 设置delete.topic.enable=true]
参考链接:
kafka伪分布式安装(2.12版) - Runner_Jack - 博客园
https://www.cnblogs.com/runnerjack/p/8592036.html
testnode1 192.168.1.27
http://192.168.1.27:8081/
关闭 防火墙
(1)查看防火墙状态
systemctl status firewalld.service
(2)关闭防火墙(下次重启后,防火墙再次自动开启)
systemctl stop firewalld.service
(3)禁止防火墙服务器(即永久关闭防火墙)
systemctl disable firewalld.service
flink.kafkaFlink.KafkaDemo
flink同样支持两种提交方式,默认不指定就是客户端方式。如果需要使用集群方式提交的话。可以在提交作业的命令行中指定-d或者--detached 进行进群模式提交。
-d,--detached If present, runs the job in detached mode(分离模式)
客户端提交方式:$FLINK_HOME/bin/flink run -c com.daxin.batch.App flinkwordcount.jar ,客户端会多出来一个CliFrontend进程,就是驱动进程。
集群模式提交:$FLINK_HOME/bin/flink run -d -c com.daxin.batch.App flinkwordcount.jar 程序提交完毕退出客户端,不在打印作业进度等信息!
更多细节参考flink的帮助文档,$FLINK_HOME/bin/flink --help
flinkTestConsumeKafka-1.0-SNAPSHOT.jar
$FLINK_HOME/bin/flink run -d -c flink.kafkaFlink flinkTestConsumeKafka-1.0-SNAPSHOT.jar
$FLINK_HOME/bin/flink run -d -c flink.kafkaFlink.KafkaDemo /home/jobs/flink/flinkTestConsumeKafka-1.0-SNAPSHOT.jar