【Azure ADLS】Storage Account使用Data Lake模式的问题讨论

问题描述

在使用Azure Storage Account的时候,有两种模式账号,一种是普通的Stroage Account,另外一种是大数据存储模式 Data Lake模式,而这两种模式的启用与 Hierarchical Namespace设置有关:


image.png

讨论问题为:

问题一:是不是只要把Hierarchical Namespace设置成 True, Storage Account的模式就会变成data lake?

问题二:普通的Storage Account 和 Data Lake模式的Storage Account 使用的SDK是不同的吗?

问题解答

问题一:是不是只要把Hierarchical Namespace设置成True, Storage Account的模式就会变成data lake?

Azure Data Lake Storage是一组专用于大数据分析的功能,基于Azure Blob Storage构建。它不是一种专用的服务或账户类型,而是作为一组功能来实现。

通过为Azure Blob Storage启用Hierarchical Namespace,就可以解锁这些功能。

因此,只要将Hierarchical Namespace设置为 True,Blob Storage就会支持Data Lake功能。

Hierarchical Namespace 是 Azure Data Lake Storage 的一个关键机制,它允许在对象存储的规模和价格下提供文件系统性能。

启用 Hierarchical Namespace 后,存储账户能够提供对象存储的可扩展性和成本效益,同时具备分析引擎和框架熟悉的文件系统语义

Hierarchical Namespace 的主要优点包括:

  1. 原子目录操作:对象存储通过在对象名称中嵌入斜杠(/)来表示路径段,从而近似目录层次结构。然而,这种方法在移动、重命名或删除目录等操作上没有帮助。启用 Hierarchical Namespace 后,这些操作可以通过更新单个条目(父目录)来完成,大大优化了许多大数据分析框架的性能
  1. 熟悉的界面风格:文件系统对开发人员和用户来说都很熟悉。迁移到云端时,不需要学习新的存储范式,因为 Data Lake Storage 暴露的文件系统接口与计算机上使用的范式相同
  1. 线性扩展:尽管历史上对象存储不支持 Hierarchical Namespace 是因为它限制了扩展性,但 Data Lake Storage 的 Hierarchical Namespace 线性扩展,不会降低数据容量或性能

启用 Hierarchical Namespace 后,存储账户将具备对象存储的可扩展性和成本效益,同时具备文件系统语义,适合分析引擎和框架

问题二:普通的Storage Account 和 Data Lake模式的Storage Account 使用的SDK是不同的吗?

Azure Blob Storage升级为Data Lake Storage后,Storage Account同时具有原本的Blob Storage Endpoint和Data Lake Storage Endpoint。

因此,不需要修改目前已经存在的应用以及Endpoint,依然可以兼容之前的访问方式。

只有需要使用Data Lake Storage提供的额外功能时,才需要调用 Data Lake Storage的SDK

You don't have to modify your existing applications and workloads to use that endpoint. Multiprotocol access in Data Lake Storage makes it possible for you to use either the Blob service endpoint or the Data Lake storage endpoint to interact with your data.

Reference docs: Upgrading Azure Blob Storage to Azure Data Lake Storage | Microsoft Learn

参考资料

Azure Data Lake Storage Introduction : https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction#data-lake-storage

Upgrading Azure Blob Storage to Azure Data Lake Storage : https://learn.microsoft.com/en-us/azure/storage/blobs/upgrade-to-data-lake-storage-gen2#data-lake-storage-endpoint

当在复杂的环境中面临问题,格物之道需:浊而静之徐清,安以动之徐生。 云中,恰是如此!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容