转载请注明出处:
牵手生活--简书:笔记是整理思路方式,分享是一个美德,牵手是我的生活方式
NoSQL(Not Only SQL)介绍
什么要使用NoSQL
- High performance-高并发读写
- Huge Storage -海量数据的高效存储和访问
- High Scalabiity && High Availability-高扩展性和高可用性
主流NoSQL产品
NoSQL数据库的4大分类
- 键值(Key-Value)存储--如:Redis:优势:快速查询,扩展性比较强;劣势:是存储数据缺少结构化
- 列存储数据库--如Hbase,优势:快速查询,扩展性比较强;劣势:功能比较局限
- 文档数据库-如mongoDB,优势:数据结构要求不是特别严格;劣势:查询性能不是特别的高、缺少统一查询的语法;
-
图形数据库-如infograd:优势:利用图结构的算法;劣势:需要对整个图做计算,才能得出结果,不容易做分布式的集成方案。
4类NoSQL数据库比较
NoSQL特点
- 易扩展
- 灵活的数据模型
- 大数据量、高性能
- 高可用性
Redis知识
Redis支持数据类型
- 字符串类型(String)
- 列表类型(list)
- 有序集合类型(sorted set)
- 散列类型(hash)
- 集合(set)
Redis的应用场景
- 缓冲
- 任务队列
- 应用排行榜
- 网站访问统计
- 数据过期处理
- 分布式集群中的session分离
Redis的安装(建议安装在linux的机器上,如CentOS)
安装的简要步骤
准备linux
需要先在线安装cgc(linxu命令:yum install gcc-c++)
从windows上传redia的安装文件到linux(使用FileZilla工具)
解压redia-3.0.7.tar.gz(linux命令:tar -zxvf redis-3.0.7.tar.gz)
进入redia-3.0.7目录,make命令做一个基本的编译(make 命令是gcc的编译命令)
安装(linux命令:make PREFiX=/usr/local/redis install
拷贝redis.conf配置文件(linux命令:cp redis.conf /usr/local/redis)
前端启动模式启动redis (前端启动模式:运行 redis/bin/redis-server;停止前端启动模式是Ctrl+c)
后端启动模式启动redis前修改配置文件redis.conf (后端启动模式:需要修改配置文件redis.conf;命令:vim /usr/local/redis.conf,需要编辑模式,把daemonize no 改为daemonize yes)
后端启动模式启动redis,需要加载配置文件( linux命令: ./bin/redis-server ./redis.conf)
查看redis服务是否启动(linux命令:ps -ef | grep -i redis)
停止服务可以直接杀死进程(linux命令:kill -9 进程号)
停止服务用redis命令(linux命令: ./bin/redis-cli shutdown)
启动redis客户端,类似dos的mysql命令行:(linux命令: ./bin/redis-cli)
开发Linux 防火墙的6379端口,否则会连接超时
配置Linux防火墙文件
vim /etc/sysconfig/iptables
重启Linux防火墙
service iptables restart
Redis命令
Redis的Keys的通用操作
Redis提供了不同语言的客户端
https://redis.io/clients
Jedis(Jedis 是 Redis 官方首选的 Java 客户端开发包)
Jedis官方github
https://github.com/xetorthio/jedis
Redis多种类型的value,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。
Jedis 是 Redis 官方首选的 Java 客户端开发包。
使用Jedis操作redis 缓存
spring集成jedis简单实例
创建一个单元测试TestJedisHelloWorld.java
package Util;
import org.junit.Test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import java.util.List;
public class TestJedisHelloWorld {
/**
* Jedis的连接池访问--类似jdbc的连接池
*/
@Test
public void testJedisPool() {
//获取连接池的配置对象
JedisPoolConfig config = new JedisPoolConfig();
//设置最大连接数
config.setMaxTotal(30);
//设置最大空闲连接数
config.setMaxIdle(10);
//获取连接池
JedisPool jedisPool = new JedisPool(config,"127.0.0.1",6379);
//获取核心对象
Jedis jedis = null;
try{
//通过连接池获得连接
jedis = jedisPool.getResource();
//设置&读取数据
jedis.set("name"," hello牵手生活--连接池方式");
String value = jedis.get("name");
System.out.println(value);
}catch (Exception e){
e.printStackTrace();
}finally {
if (jedis !=null){
jedis.close();
}
if (jedisPool !=null){
jedisPool.close();
}
}
}
@Test
public void testJedis() {
//设置Ip地址&端口
Jedis jedis = new Jedis("127.0.0.1",6379);
//保存&获取数据
jedis.set("name","hello牵手生活--普通方式");
String value = jedis.get("name");
System.out.println(value);
//释放资源
jedis.close();
}
}
连接redis ,redis的默认端口是6379
//连接redis ,redis的默认端口是6379
Jedis jedis = new Jedis ("localhost",6379);
//验证密码,如果没有设置密码这段代码省略
jedis.connect();//连接
jedis.disconnect();//断开连接
Set<String> keys = jedis.keys("*"); //列出所有的key
Set<String> keys = jedis.keys("key"); //查找特定的key
//移除给定的一个或多个key,如果key不存在,则忽略该命令.
jedis.del("key1");
jedis.del("key1","key2","key3","key4","key5");
//移除给定key的生存时间(设置这个key永不过期)
jedis.persist("key1");
//检查给定key是否存在
jedis.exists("key1");
//将key改名为newkey,当key和newkey相同或者key不存在时,返回一个错误
jedis.rename("key1", "key2");
//返回key所储存的值的类型。
//none(key不存在),string(字符串),list(列表),set(集合),zset(有序集),hash(哈希表)
jedis.type("key1");
//设置key生存时间,当key过期时,它会被自动删除。
jedis.expire("key1", 5);//5秒过期
//字符串值value关联到key。
jedis.set("key1", "value1");
//将值value关联到key,并将key的生存时间设为seconds(秒)。
jedis.setex("foo", 5, "haha");
//清空所有的key
jedis.flushAll();
//返回key的个数
jedis.dbSize();
//哈希表key中的域field的值设为value。
jedis.hset("key1", "field1", "field1-value");
jedis.hset("key1", "field2", "field2-value");
Map map = new HashMap();
map.put("field1", "field1-value");
map.put("field2", "field2-value");
jedis.hmset("key1", map);
//返回哈希表key中给定域field的值
jedis.hget("key1", "field1");
//返回哈希表key中给定域field的值(多个)
List list = jedis.hmget("key1","field1","field2");
for(int i=0;i<list.size();i++){
System.out.println(list.get(i));
}
//返回哈希表key中所有域和值
Map<String,String> map = jedis.hgetAll("key1");
for(Map.Entry entry: map.entrySet()) {
System.out.print(entry.getKey() + ":" + entry.getValue() + "\t");
}
//删除哈希表key中的一个或多个指定域
jedis.hdel("key1", "field1");
jedis.hdel("key1", "field1","field2");
//查看哈希表key中,给定域field是否存在。
jedis.hexists("key1", "field1");
//返回哈希表key中的所有域
jedis.hkeys("key1");
//返回哈希表key中的所有值
jedis.hvals("key1");
//将值value插入到列表key的表头。
jedis.lpush("key1", "value1-0");
jedis.lpush("key1", "value1-1");
jedis.lpush("key1", "value1-2");
//返回列表key中指定区间内的元素,区间以偏移量start和stop指定.
//下标(index)参数start和stop从0开始;
//负数下标代表从后开始(-1表示列表的最后一个元素,-2表示列表的倒数第二个元素,以此类推)
List list = jedis.lrange("key1", 0, -1);//stop下标也在取值范围内(闭区间)
for(int i=0;i<list.size();i++){
System.out.println(list.get(i));
}
//返回列表key的长度。
jedis.llen("key1")
//将member元素加入到集合key当中。
jedis.sadd("key1", "value0");
jedis.sadd("key1", "value1");
//移除集合中的member元素。
jedis.srem("key1", "value1");
//返回集合key中的所有成员。
Set set = jedis.smembers("key1");
//判断元素是否是集合key的成员
jedis.sismember("key1", "value2"));
//返回集合key的元素的数量
jedis.scard("key1");
//返回一个集合的全部成员,该集合是所有给定集合的交集
jedis.sinter("key1","key2")
//返回一个集合的全部成员,该集合是所有给定集合的并集
jedis.sunion("key1","key2")
//返回一个集合的全部成员,该集合是所有给定集合的差集
jedis.sdiff("key1","key2");
Jedis对redis的操作详解
java JedisUtil 工具类连接redis服务器--包含Spring的支持
Jedis对redis的操作详解
Redis的事务
Redis的持久化
配置文件redis.conf(修改配置后需要重启redis服务)
Redis的持久化过程中并不需要我们开发人员过多的参与,我们要做的是什么呢?除了深入了解RDB和AOF的作用原理,剩下的就是根据实际情况来制定合适的策略了,再复杂一点,也就是定制一个高可用的,数据安全的策略了。
RDB持久化方式(Redis Database)
在redis.conf文件中配置(可配置时间间隔、保存的文件默认是dump.rdb)
在RDB方式下,你有两种选择,一种是手动执行持久化数据命令来让redis进行一次数据快照,另一种则是根据你所配置的配置文件 的 策略,达到策略的某些条件时来自动持久化数据。而手动执行持久化命令,你依然有两种选择,那就是save命令和bgsave命令。
save操作在Redis主线程中工作,因此会阻塞其他请求操作,应该避免使用。
(默认下,持久化到dump.rdb文件,并且在redis重启后,自动读取其中文件,据悉,通常情况下一千万的字符串类型键,1GB的快照文件,同步到内存中的 时间是20-30秒)
bgSave则是调用Fork,产生子进程,父进程继续处理请求。子进程将数据写入临时文件,并在写完后,替换原有的.rdb文件。Fork发生时,父子进程内存共享,所以为了不影响子进程做数据快照,在这期间修改的数据,将会被复制一份,而不进共享内存。所以说,RDB所持久化的数据,是Fork发生时的数据。在这样的条件下进行持久化数据,如果因为某些情况宕机,则会丢失一段时间的数据。如果你的实际情况对数据丢失没那么敏感,丢失的也可以从传统数据库中获取或者说丢失部分也无所谓,那么你可以选择RDB持久化方式。
再谈一下配置文件的策略,实际上它和bgsave命令持久化原理是相同的。
这是配置文件默认的策略,他们之间的关系是或,每隔900秒,在这期间变化了至少一个键值,做快照。或者每三百秒,变化了十个键值做快照。或者每六十秒,变化了至少一万个键值,做快照。
AOF持久化方式(AOF,append only file)
在redis.conf文件中配置(需要打开对应的配置)
配置文件中的appendonly修改为yes。开启AOF持久化后,你所执行的每一条指令,都会被记录到appendonly.aof文件中。但事实上,并不会立即将命令写入到硬盘文件中,而是写入到硬盘缓存,在接下来的策略中,配置多久来从硬盘缓存写入到硬盘文件。所以在一定程度一定条件下,还是会有数据丢失,不过你可以大大减少数据损失。
这里是配置AOF持久化的策略。redis默认使用everysec,就是说每秒持久化一次,而always则是每次操作都会立即写入aof文件中。而no则是不主动进行同步操作,是默认30s一次。当然always一定是效率最低的,个人认为everysec就够用了,数据安全性能又高。
Redis也允许我们同时使用两种方式,再重启redis后会从aof中恢复数据,因为aof比rdb数据损失小嘛。