数据中台:Snowflake的独特技术优势

    数据中台:Snowflake的独特技术优势


Snowflake已于2020年9月16日正式上市,市值超过700亿美元。该公司成立于2012年,致力于为企业提供数据云平台,帮助客户打破数据孤岛,方便企业运用和分享数据,并从中获得数据价值和商业洞见。Snowflake提供的产品技术服务在国内更多被称为数据中台。当然,它独特的技术优势是获得资本亲赖的原因之一。


云端原生性

Snowflake提出了data-warehouse-as-a-service(DaaS)的概念,可以简单理解为原生于云端并专注于数据仓库的SaaS服务。Snowflake的云端原生性,和很多数据仓库提供商支持云端服务并非同一概念。其他云服务巨头,例如Oracle,Teradata,Netezza,尽管或多或少支持云端,因为本身产品架构的局限性,他们常常被证明并不能良好地解决很多现代企业面对的各种数据需求与问题。


 独特的架构

    Snowflake提出了独特的存储、计算以及管理服务分离的架构。Snowflake在Shared-nothing的基础上提出了Multi-cluster, shared data的概念。这种架构的关键在于将存储和计算彻底分离,从本质上解决了传统架构的痛点。

从存储层来看,Snowflake将所有表自动划分为接近固定大小的micro-partition,用以支持更加高级的time travel和data sharing功能。即使对数据库进行了clone,在逻辑上有了两个数据库,而底层的存储仍然只有一个版本。从计算层来看,Snowflake用T-shirt尺寸定义了算力,相比较其他云计算资源,极大地简化了provision的过程。用户可以随时提高或降低计算资源来应对需求,而且这些不同计算资源看到的数据都来自同一版本。从服务层来看,是另一个我认为Snowflake服务层非常独立。它由众多global services组成,涵盖operation management,optimization,tuning,security,availability,metadata,caching等任务。它解决了数据仓库易用性的问题,大大降低了需要的管理和运维成本,是其他竞争对手所不能比拟的。

技术上坚持中立、开放原则

    在美国,亚马逊AWS、微软Azure、谷歌云是云服务巨头,他们竞争力强,平台生态完善,基础设施规模庞大,客户资源丰富,而Snowflake打通这些公有云平台,提供中立性、按需付费的服务,在数据迁移与共享等方面,为客户提供更大灵活性。坚持数据共享开放原则,将数据提供商、合作伙伴和客户联合起来,采用平台的客户越多,就可以与其他客户、合作伙伴和数据提供商交换更多的数据,提升平台对所有用户的价值。

在国内,有没有类似Snowflake的公司呢,实际上在国内类似产品更多被称为数据中台,而且2019年是国内数据中台的元年,近期我们发现国内有家面向数字化转型落地的公司成立7年以来一直在打造数据中台产品,这家公司叫国云数据。最近国云数据创始人马晓东接受了亿欧网等媒体的采访并对标其数据中台为中国版的Snowflake。国云数据提供的数据中台在技术方面与Snowflake很类似。

该数据中台源于阿里顶级技术架构,但却不与任何云平台、数据工具或者是数据库进行绑定,而且可兼容对接客户自有的业务系统,无需推倒重来,从而节省企业成本,提高业务运营效率。数据中台支持基于中台向上做应用的二次开发,实现技术、业务、管理等人员联动使用的同时又保障了客户的使用安全、数据安全。此外,国云数据与Snowflake一样,在数据中台规划之初就运用云原生技术,存算分离,读写分离技术,历经7年优化升级,已经做到极致。

    随着企业数字化转型加剧,在国内的与Snowflake类似的数据中台产品层出不穷,数据中台已成为热门赛道,未来市场容量在千亿级,我们也期待着中国的Snowflake早日迎来敲钟之日。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,367评论 6 512
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,959评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,750评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,226评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,252评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,975评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,592评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,497评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,027评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,147评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,274评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,953评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,623评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,143评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,260评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,607评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,271评论 2 358

推荐阅读更多精彩内容