初识-LevelDB

简介

Leveldb是一个google实现的非常高效的kv数据库
能够支持billion级别的数据量了
LevelDb不会像Redis一样狂吃内存，而是将大部分数据存储到磁盘上。
LevelDb在存储数据时，是根据记录的key值有序存储的，就是说相邻的key值在存储文件中是依次顺序存储的，而应用可以自定义key大小比较函数，LevelDb会按照用户定义的比较函数依序存储这些记录。
LevelDb的操作接口很简单，基本操作包括写记录，读记录以及删除记录。也支持针对多条操作的原子批量操作。
LevelDb支持数据快照(snapshot)功能，使得读取操作不受写操作影响，可以在读操作过程中始终看到一致的数据。
LevelDb还支持数据压缩等操作，这对于减小存储空间以及增快IO效率都有直接的帮助。
官方网站报道其随机写性能达到40万条记录每秒，而随机读性能达到6万条记录每秒。总体来说，LevelDb的写操作要大大快于读操作，而顺序读写操作则大大快于随机读写操作。

局限

只能算作一个内存数据库，它里面装的数据无法跨进程跨机器共享。（这就需要靠包装技术了，在 LevelDB 内存数据库的基础上包装一层网络 API。当不同机器上不同的进程要来访问它时，都统一走网络 API 接口。这样就形成了一个简易的数据库。如果在网络层我们使用 Redis 协议来包装，那么使用 Redis 的客户端就可以读写这个数据库了）
不支持索引
不支持事务
没有内置的C/S架构，但开发者可以使用LevelDB库自己封装一个server
不具备“分布式”集群架构能力
一次只允许一个进程访问一个特定的数据库
key和value数据尺寸不能太大，在KB级别，如果存储较大的key或者value，将对leveld的读写性能都有较大的影响。每个key所对应的内容不宜太大，超过32KB性能就会下降很快

JAVA使用LEVELDB

LevelDB 需要的依赖

    // https://mvnrepository.com/artifact/org.iq80.leveldb/leveldb
    compile group: 'org.iq80.leveldb', name: 'leveldb', version: '0.12'
    // https://mvnrepository.com/artifact/org.iq80.leveldb/leveldb-api
    compile group: 'org.iq80.leveldb', name: 'leveldb-api', version: '0.12'

LevelDB相关的操作

小编我本地的磁盘路径(F:/LevelDBDemo/LevelDB1) 这路径后面代码上有用得到的

image.png

写入操作

put(byte[] key, byte[] value)

  
    private static final Charset CHARSET = Charset.forName("utf-8");
    
    public static void main(String[] args) {
        //小编这里插入一条 key为LevelDBTest  values为LevelValues的数据
        put("LevelDBTest", "LevelValues", "F:/LevelDBDemo/LevelDB1");
    }

    /**
     * 写入磁盘
     * 
     * @param key
     * @param values
     * @param path 磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void put(String key, String values, String path) {
        DBFactory factory = new Iq80DBFactory();
        // 默认如果没有则创建
        Options options = new Options();
        File file = new File(path);
        DB db = null;
        try {
            db = factory.open(file, options);
            byte[] keyByte = key.getBytes(CHARSET);
            byte[] valuesBytes = values.getBytes(CHARSET);
            // 会写入磁盘中
            db.put(keyByte, valuesBytes);
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }

写入磁盘之后，看磁盘文件夹(本来空的文件夹多了几个文件)

image.png

获取数据

byte[] get(byte[] key)

    private static final Charset CHARSET = Charset.forName("utf-8");
    
    public static void main(String[] args) {
        //读取刚刚写入磁盘的数据
        String getValues = get("LevelDBTest","F:/LevelDBDemo/LevelDB1");
        System.err.println("getValues = "+getValues);
    }

    /**
     * 读取磁盘存储的数据
     * 
     * @param key
     * @param path 磁盘的路径
     * @return
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static String get(String key, String path) {
        DBFactory factory = new Iq80DBFactory();
        // 默认如果没有则创建
        Options options = new Options();
        File file = new File(path);
        DB db = null;
        try {
            db = factory.open(file, options);
            byte[] values = db.get(key.getBytes(CHARSET));
            if (null == values) {
                return null;
            }
            return new String(values, CHARSET);
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
        return null;
    }

image.png

读取快照的数据

Snapshot snapshot = db.getSnapshot();

    private static final Charset CHARSET = Charset.forName("utf-8");
    
    public static void main(String[] args) {
        //用快照方式读取磁盘的数据
        readFromSnapshot("F:/LevelDBDemo/LevelDB1");
    }
    /**
     * 读取快照的数据
     * 
     * @param path 读取数据的磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void readFromSnapshot(String path) {
        DBFactory factory = new Iq80DBFactory();
        File file = new File(path);
        Options options = new Options();
        DB db = null;
        try {
            db = factory.open(file, options);
            // 读取当前快照，重启服务仍能读取，说明快照持久化至磁盘，
            // getSnapshot() 获取快照的方法 调用getSnapshot方法之后写入的数据，快照是没办法获取得到的
            Snapshot snapshot = db.getSnapshot();
            // 读取操作
            ReadOptions readOptions = new ReadOptions();
            readOptions.fillCache(false);// 读取的数据是否保存到memtable中 这里设置为false表示不保存memtable中
            // 默认snapshot为当前
            readOptions.snapshot(snapshot);
            DBIterator it = db.iterator(readOptions);
            while (it.hasNext()) {
                Map.Entry<byte[], byte[]> entry = (Map.Entry<byte[], byte[]>) it.next();
                String key = new String(entry.getKey(), CHARSET);
                String value = new String(entry.getValue(), CHARSET);
                System.err.println("snapshot_key = " + key + " snapshot_value =" + value);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }

    }

image.png

读取快照的特点

Snapshot getSnapshot()
getSnapshot() 获取快照的方法调用getSnapshot方法之后写入的数据，快照是没办法获取得到的

    private static final Charset CHARSET = Charset.forName("utf-8");
    
    public static void main(String[] args) {
        snapshot("F:/LevelDBDemo/LevelDB1");
    }
    /**
     * ReadOptions - Snapshot </BR>
     * 快照 数据存储获取(getSnapshot之前put的值，之后的无法获取，即读取期间数据的变更，不会反应出来)
     * 
     * @param path 读取的磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void snapshot(String path) {

        DBFactory factory = new Iq80DBFactory();
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            db.put("LevelDBTest-01".getBytes(CHARSET), "LevelValues-01".getBytes(CHARSET));
            // 只能之前到getSnapshot之前put的值，之后的无法获取，即读取期间数据的变更，不会反应出来
            Snapshot snapshot = db.getSnapshot();
            //小编在插入一条数据 明确getSnapshot之后插入的数据没办法获取的
            db.put("LevelDBTest-02".getBytes(CHARSET), "LevelDBTest-02".getBytes(CHARSET));
            ReadOptions readOptions = new ReadOptions();
            readOptions.fillCache(false);// 是否填充到缓存
            readOptions.snapshot(snapshot);
            DBIterator it = db.iterator(readOptions);
            while (it.hasNext()) {
                Map.Entry<byte[], byte[]> entry = (Map.Entry<byte[], byte[]>) it.next();
                String key = new String(entry.getKey(), CHARSET);
                String value = new String(entry.getValue(), CHARSET);
                System.err.println("key=" + key + " value=" + value);
            }
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }

    }

image.png

明确了一点 key为LevelDBTest-02的数据是没有读取到的。

ReadOptions 读取数据

byte[] get(byte[] key, ReadOptions options)


    private static final Charset CHARSET = Charset.forName("utf-8");
    
    private static final String PATH="F:/LevelDBDemo/LevelDB1";
    
    public static void main(String[] args) {
        //小编在这里读取的是上面没有读取到的数据哦
        String readOptions = readOptionsTest("LevelDBTest-02", PATH);
        System.err.println("readOptions = "+readOptions); 
    }
     /**
     * ReadOptions 方式读取操作
     * 
     * @param key 
     * @param path 磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static String readOptionsTest(String key,String path) {
        DBFactory factory = new Iq80DBFactory();
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            ReadOptions readOptions = new ReadOptions();
            readOptions.fillCache(false);// 是否填充到缓存
            byte[] values = db.get(key.getBytes(CHARSET), readOptions);
            if(null == values) {
                return null;
            }
            return new String(values, CHARSET);
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
        return null;
    }

image.png

WriteOptions方式写入操作

Snapshot put(byte[] key, byte[] value, WriteOptions options)

    /**
     * WriteOptions方式写入操作
     * 
     * @param key 
     * @param values 
     * @param path 写入的磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void writeOptionsTest(String key,String values,String path) {
        DBFactory factory = new Iq80DBFactory();
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            WriteOptions writeOptions = new WriteOptions().sync(true); // 线程安全
            db.put(key.getBytes(CHARSET), values.getBytes(CHARSET), writeOptions);
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

删除方法

void delete(byte[] key)
这个删除方法有点坑的地方，它不是真实的磁盘删除，只是添加一个标识而已！

    /**
     * delete
     * 
     * @param key
     * @param path 磁盘路径
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void deleteTest(String key, String path) {
        DBFactory factory = new Iq80DBFactory();
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            // 存在会删除，之后查询不出，根据说明可能不是真删除，而是添加一个标记，待测试（大量数据之后删除，文件大小是否明显变化）
            db.delete(key.getBytes(CHARSET));
            // 不存在不会报错
            db.delete(key.getBytes(CHARSET));
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }

批量的修改和写入

WriteBatch put(byte[] key, byte[] value);
void write(WriteBatch updates)；

    /**
     * WriteBatch（批量操作-写入、修改）
     * 
     * @param path 操作的磁盘
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void writeBatchTest(String path) {
        DBFactory factory = Iq80DBFactory.factory;
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            // 批量保存，批量修改
            WriteBatch writeBatch = db.createWriteBatch();
            writeBatch.put("LevelDBTest-03".getBytes(CHARSET), "LevelValues-03".getBytes(CHARSET));
            writeBatch.put("LevelDBTest-04".getBytes(CHARSET), "LevelValues-03".getBytes(CHARSET));
            writeBatch.put("LevelDBTest-05".getBytes(CHARSET), "LevelValues-03".getBytes(CHARSET));
            // 这里也可以添加writeOptions
            db.write(writeBatch);
            writeBatch.close();
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }

批量删除操作

WriteBatch delete(byte[] key);
void write(WriteBatch updates)；

    /**
     * WriteBatch（批量操作-删除）
     * 
     * @param path
     * @bk https://home.cnblogs.com/u/huanuan/
     * @Author 六月星辰
     * @Date 2019年12月28日
     */
    public static void writeBatchDeleteTest(String path) {
        DBFactory factory = Iq80DBFactory.factory;
        Options options = new Options();
        DB db = null;
        File file = new File(path);
        try {
            db = factory.open(file, options);
            WriteBatch writeBatch = db.createWriteBatch();
            writeBatch.delete("LevelDBTest-03".getBytes(CHARSET));
            writeBatch.delete("LevelDBTest-04".getBytes(CHARSET));
            db.write(writeBatch);
            writeBatch.close();
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } finally {
            if (db != null) {
                try {
                    db.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }

小编就写到这里了，希望能对你有用哦！

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,001评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,210评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,874评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,001评论 1赞 291
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,022评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,005评论 1赞 295
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,929评论 3赞 416
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,742评论 0赞 271
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,193评论 1赞 309
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,427评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,583评论 1赞 346
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,305评论 5赞 342
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,911评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,564评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,731评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,581评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,478评论 2赞 352

初识-LevelDB

简介

局限

JAVA使用LEVELDB

LevelDB相关的操作

写入操作

获取数据

读取快照的数据

读取快照的特点

ReadOptions 读取数据

WriteOptions方式写入操作

删除方法

批量的修改和写入

批量删除操作

推荐阅读更多精彩内容