Storage Format

文档简介(0.9.0)

Data in Druid is stored in a custom column format known as a segment. Segments are composed of different types of columns. Column.java and the classes that extend it is a great place to looking into the storage format.

基本类

ValueType

枚举类,包含四个可选项:

  1. Float
  2. Long
  3. String
  4. Complex

IndexedInts

主要有三个方法:

int size();
int get(int index);
void fill(int index, int[] toFill);

实现类主要有:

  1. EmptyIndexedInts
  2. IntBufferIndexedInts
  3. ListBasedIndexedInts
  4. VSizeIndexedInts

size() 指的是该 Buffer 下还有多少个元素可读或可写;
get(index) 读取该 Buffer 下的 index 个元素;
fill()将对应的 Channel 数据填充到该 Buffer,目前都不支持该方法.
其中,ListBasedIndexedInts采用的存储是 List<Integer>.
可以看出,部分是采用 Java NIO 操作 native memory.

ColumnCapabilities

属性:

private ValueType type = null;
private boolean dictionaryEncoded = false;  // 是否字典编码
private boolean runLengthEncoded = false;  // 是否 runLength 编码,runLength 是虚构的,可忽略
private boolean hasInvertedIndexes = false;  // 是否倒排索引
private boolean hasSpatialIndexes = false;  // 是否稀疏索引
private boolean hasMultipleValues = false;  // 是否有多值

DictionaryEncodedColumn

基本方法:

public int length();  // 一个字典编码列的总长度
public boolean hasMultipleValues();  // 是否有多值的情况
public int getSingleValueRow(int rowNum);  // 获取某行的单值
public IndexedInts getMultiValueRow(int rowNum);  // 获取某行的多值
public String lookupName(int id);  // 通过 id 索引获取对应行的值,注意,null and empty 都会转化成 null
public int lookupId(String name);  // 
public int getCardinality();  // 获取基数,字典长度

唯一实现类SimpleDictionaryEncodedColumn,有三个属性:

private final IndexedInts column;
private final IndexedMultivalue<IndexedInts> multiValueColumn;
private final CachingIndexed<String> cachedLookups;

其中有意思的是 cachedLookups,存储的是字典。

CachingIndexed

字典的具体实现类,实现了 Indexed接口,其它的实现类主要有:

  1. GenericIndexed
  2. ArrayIndexed
  3. BufferIndexed
  4. ListIndexed
  5. VSizeIndexed

CachingIndexed 是 wrapping a given GenericIndexed,同时使用一个 LRUMap SizedLRUMap<Integer, T>来存储 cachedValues.

GenericIndexed

A generic, flat storage mechanism. Use static methods fromArray() or fromIterable() to construct. If input is sorted, supports binary search index lookups. If input is not sorted, only supports array-like index lookups.
V1 Storage Format:

  • byte 1: version (0x1)
  • byte 2 == 0x1 => allowReverseLookup
  • bytes 3-6 => numBytesUsed
  • bytes 7-10 => numElements
  • bytes 10-((numElements * 4) + 10): integers representing 'end' offsets of byte serialized values
  • bytes ((numElements * 4) + 10)-(numBytesUsed + 2): 4-byte integer representing length of value, followed by bytes for value

属性有:

private final ByteBuffer theBuffer;  // 内置的 ByteBuffer 存储
private final ObjectStrategy<T> strategy;
private final boolean allowReverseLookup;
private final int size;  // theBuffer 的当前 int 值
private final int valuesOffset;
private final BufferIndexed bufferIndexed;  // 内部类, BufferIndexed

Column 类

接口,详见实现类

SimpleColumn 类

属性:


private final ColumnCapabilitiescapabilities;

private final SupplierdictionaryEncodedColumn;

private final SupplierrunLengthColumn;

private final SuppliergenericColumn;

private final SuppliercomplexColumn;

private final SupplierbitmapIndex;

private final SupplierspatialIndex;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容