看了 ETL 数据仓库,以前只是听说过,不过现行的解决方案因为和业务逻辑耦合比较深,所以没有放之四海而皆准的方案。
我想大概它和数据库应该是这样一个关系,数据库存放元数据,数据仓库存放的是逻辑数据,平常一般使用逻辑数据可以直接从仓库里面拿。对仓库的需求也是适应内部对于数据的要求,内部人员要的不是元数据,而是有逻辑的数据,内部人员的需求一天一个样,想解放开发,就得从仓库下手,抽象一部分逻辑数据出来,给内部人员。
我看了美团介绍的数据仓库的演变,最后做出来了数据集市,还是很厉害的。让运营使用 sql,我也是服的,233333。
这个时候感觉要把数据仓库和缓存分分,我觉得类似 redis 这样的缓存可以缓存常用数据,就像 cache 那样,这里的目的其实是为了生产环境的便利,很多数据不需要去数据库读取,而是直接从 redis 直接拿走,这样能快许多。
对于数据仓库,我的想法是 elasticsearch
把逻辑数据存在这里面,es 强大的搜索功能,也能提供很多便利。