使用“时间序列数据库”的案例

一种根据特定的业务需求和用例,从关系型数据库中衍生出了许多新数据库。从内存中的键值存储到图形数据库,从地理空间数据库到时间序列数据库。所有这些不同类型的数据库都有特定的用途,其中使用关系数据库的一般解决方案不是很有效。

尽管有许多不同类型的数据库,但在这里我们将研究时间序列数据库-处理时间序列数据所需的数据库。

由时间间隔内某物的连续测量组成的数据是时间序列数据。

随着现代化金融交易与物联网的出现,需要时间序列数据库是显而易见的。股票和加密货币的价格每秒钟变化一次。为了测量这些变化的数据并对该数据进行分析,我们需要一种有效的存储和检索数据的方法。

随着物联网设备在我们生活中的空前渗透,物联网设备生成的数据每天都在增加。无论是汽车诊断,房屋的温度读数,迷路的狗的GPS位置,物联网设备无处不在。

物联网设备只能做一件事情,一件事情。通过设备上的传感器捕获信息,并将其发送到服务器进行存储。由于现有的通信协议对于这种轻量级的高频数据,流数据来说太复杂了,因此开发了MQTT来解决物联网的消息传递问题。

但是时间序列数据不仅限于物联网,它也渗透到整个互联网。捕获搜索引擎查询,主题标签,社交媒体帖子的病毒性等趋势也可以生成时间序列数据。它并没有就此结束。在由软件驱动的世界中,记录和审核安全性和合规性至关重要。所有这些数据也可以归类为时间序列数据。

专门设计时间序列数据库来处理由于捕获,存储和分析来自一个或多个上述来源的时间序列数据而引起的问题。因此,为简单起见,让我们将时间序列数据定义为具有以下内容的数据:

  • 令人难以置信的高容量(来自测量的连续数据)
  • 自然时间顺序(时间是一个重要的维度)
  • 作为整个数据集更有价值(比单个记录更有价值

有了这些信息,时间序列数据库应该能够存储大量数据,并具有大规模记录扫描,数据分析和数据生命周期管理的能力。如前所述,传统的事务数据库虽然可以用于存储,检索和处理时间序列数据,但是并不能充分利用可用资源。

特定的问题需要特定的解决方案。

现在,随着公司意识到这一事实,他们开始使用专门的数据库来解决特定的问题。这回到了我开始这篇文章所谈论的内容。在所有其他数据库中,时间序列数据库在过去两年中的采用率更高(截至2020年12月的数据)。

时间序列数据库使用率增加约2.5倍的主要原因是云和数据技术的融合,以及能够从较早捕获数据的地方捕获数据的能力,即,汽车的引擎,冰箱,数十亿个设备的位置数据等等。除了新的来源外,公司还意识到一些较旧的来源毕竟并不真正适合于事务数据库。所有这些都为更广泛地采用时间序列数据库做出了贡献。

时间序列数据库

有了合理的时间序列数据库,让我们研究一下如果要尝试时间序列数据库可以使用哪些不同的选项。可以在DB-engines网站上找到完整的时间序列数据库列表。我将谈论其中的三个。

TimescaleDB

作为时间序列的PostgreSQL的产品,它很快就引起了您的注意。默认情况下,PostgreSQL对任何东西都是一种赞美。借助超表和大块等新的体系结构,TimescaleDB在插入方面的性能提高了15倍以上,在查询性能上也有了显着提高。

尽管与大多数其他时间序列数据库一样,主要的云提供商都没有与大型云提供商在云中针对TimescaleDB进行完全集成的解决方案,但TimescaleDB可以在所有这些数据库上无缝运行。例如,如果您的基础架构位于AWS中,并且您不想在Timescale Cloud中运行您的TimescaleDB实例,则可以使用EC2实例来安装官方的TimescaleDB AMI。

InfluxDB

与在PostgreSQL(关系数据库)中获得灵感的TimescaleDB不同,该数据库是从头开始编写的NoSQL时间序列数据库。尽管TimescaleDB具有站在被广泛接受和钦佩的关系数据库的肩膀上的优势,但InfluxDB却走了一条不同的道路。InfluxDB是时间序列最热门的数据库之一,但是根据TimescaleDB的研究,它在许多方面都无法击败TimescaleDB。

话虽如此,InfluxDB具有很多功能。除了查询语言InfluxQL和Flux外,InfluxDB还开发了一种干净,轻量,基于文本的协议,该协议用于将点写入数据库。值得赞扬的是,这已被其他时间序列数据库(如QuestDB)采用。

与TimescaleDB一样,InfluxDB也提供了开箱即用的云解决方案,但是您仍然可以决定在其中一个云平台上运行InfluxDB。例如,如果您在AWS上运行它,则将对CloudWatch指标,Grafana,RDS,Kinesis等具有本地支持。总而言之,一个非常好的数据库。由于它是一个相当新的事物,因此很难说出它与基于关系数据库的时间序列数据库的竞争程度。

QuestDB

QuestDB是时间序列数据库列表中的最新成员,它是最新一批YCombinator之一。QuestDB的一些主要差异是列式存储,低内存占用量,关系模型在时间序列上的使用以及可伸缩的无模式提取。与大多数时间序列数据库类似,QuestDB还使用官方AMI和Kubernetes Helm Charts在AWS上提供云部署选项

QuestDB还采用了InfluxDB Line协议进行提取,而不必担心随着数据结构的变化而更改架构。作为列式数据库,QuestDB无缝处理新列的创建,因此支持无模式提取

尽管在初期,QuestDB几乎提供了对ANSI SQL的完全支持以及对SQL方言的一些补充,但它创建了许多完全独特的功能,使其成为可行的替代方法,可能比市场上的其他一些主要数据库更好。

结论

尽管还有其他几个数据库,但我现在只讨论了这三个数据库。从可公开获得的数据中可以明显看出,向时序数据的时序数据库的转移。越来越多的公司将开始使用时间序列数据库作为其数据库堆栈的一部分,不一定取代关系数据库,而是增加了其数据功能。这就是为什么今年不仅会对时间序列数据库而且对市场上出现的所有其他专用数据库特别令人兴奋的原因。

参考

The Case for Using Timeseries Databases

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容