What is Dozer?

英文原文:https://getdozer.io/docs/dozer

概览

Dozer 实现了实时 SQL 引擎,可以连接任何数据源,对数据进行转换并存储到 LMDB 支持的嵌入式缓存中,自动生成二级索引,快速生成 REST 和 gRPC API。它还支持 Protobuf 和 Open API 文档。

Dozer 完全使用 Rust 实现,以便快速处理数据,并且资源占用更少。

Dozer 采用端到端的方法,旨在大大降低构建数据应用所需的数据基础设施的成本、复杂度和工作量。而现在开发人员需要整合和维护各种工具才能达到同样的结果。

我们相信开发者花费了许多宝贵的时间来构建核心的 pipelines 和基础架构工作,并经常整合多个产品。我们采用一种有效的方法,使用一个从数据源到生成数据 API 提供端到端的功能的单个产品解决数据服务问题。

详细架构可以点击参考官网的Architecture章节。

Dozer能做什么?

•使用简单的配置在几分钟内创建极速的端到端 gRPC 和 REST APIs。

•构建并快速迭代面向客户的数据应用程序。

•使用标准 SQL 实时转换数据。

•缓存数据并自动获得搜索和筛选功能。

•使用 WASM 扩展 Dozer 的自定义连接器、操作器和 API 转换。

•用 Rust 构建,具有高性能和可扩展性。

•自动生成 OpenAPI 文档和 protobuf 数据合同。

Plug & Play

Dozer 能够即时地自动生成完全索引化的 gRPC 和 REST API,无需编写额外的代码,只需要通过配置一个 YAML 文件即可。这样可以省去开发人员数小时的时间。Dozer 还支持高度自定义。

如需了解如何构建更多的连接器和转换,可以点击参考官网的 Contributing 章节。

连接所有数据源

Dozer 不区分数据源的类型。开发人员可以轻松地使用应用程序数据库(如 Postgres 和 MySQL)、数据仓库(如 SnowFlake)和云存储(如 S3 和 Deltalake )来构建产品。Dozer还可以消费实时 events 和 Ethereum 数据,提供完整的数据接入和管理体验。

从多个数据源中组合数据

Dozer 可以实时合并来自多个数据源的数据,以支持高级用例,例如客户个性化、实时分析等。这可以通过 SQL 中的标准 JOIN 运算符来完成。

API和实时查询

在实现的核心,Dozer 具有适用于所有存储的 CDC 的流式数据管道。随着新数据的流入,Dozer 会增量计算 aggregations 和 joins,并提供比传统数据库更优越的查询体验。

数据存储在基于 LMDB(Lightning Memory-Mapped Database)的缓存中,并自动构建单列的二级索引。这为用户提供了具有 filter、sort 功能的即时可查询的API。”

扩展性

Dozer 可以以单一进程的方式运行,用于简单应用,也可以以分布式方式运行,其中写入和读取是解耦的。这是一种低成本高效的方法,其中读取开销非常低,可以根据需要进行扩展。

授权

Dozer 通过 JWT 令牌提供授权功能。更多详细信息请点击参见官网“API安全性”。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352

推荐阅读更多精彩内容