Alluxio:用例

1.对象存储数据加速

       许多组织中,越来越流行的架构是利用对象存储作为数据分析应用程序(Spark、Presto、Hadoop)的重要数据源。对象存储可以是公共对象存储服务(如AWS S3、Azure blob存储、谷歌云存储、阿里云OSS或腾讯COS),也可以是内部对象存储(如Ceph或Swift)。
       虽然对象存储通常更划算、更易于伸缩和维护,但是它们不具有与文件系统相同的功能,即使提供了类似于文件系统的接口。一些缺失的功能包括:
1.缺少文件系统级的数据缓存:访问同一数据集的多个作业无法从缓存频繁访问的数据中获益。
2.计算上缺乏node级别的数据本地化:数据始终是远程读取的,并且从来不是计算任务的本地节点。
3.不同的性能影响:列出对象的操作可能很慢,特别是当桶中有很多对象时。重命名对象的操作也可能很慢,因为一致性保证较差。
4.吞吐量限制:存储系统(比如S3)会限制计算节点的吞吐量。
5.安全模型:对象存储通常使用不同于文件系统的安全模型。
       在这样的体系结构中,在计算端部署Alluxio(在计算端,数据被配置为从对象存储中持久存储)可以显著地使应用程序受益。Alluxio可以与不同的应用程序一起本地缓存数据,并管理相应的元数据,以避免对象存储的特定低效元数据操作。

2.计算集群赋能者

       出于性能、安全性或资源隔离等原因,公司维护独立于其主数据集群的计算集群,使用专用资源用于关键任务应用程序。这个 计算集群需要经常从主数据集群访问数据。这需要在作业执行期间远程读取数据,或者在作业执行之前运行ETL管道来预加载数据。
       Alluxio可以加速从主数据集群读取的远程数据,而不需要添加额外的ETL步骤。当部署到计算集群中的计算节点并配置为连接到主数据集群时,Alluxio充当一个本地数据代理层,它提供与主数据集群相同的名称空间。Alluxio将透明地将频繁访问的数据缓存到计算集群本地,以减少网络流量,降低主数据集群的总体负载。

3.公共数据访问层

       用户将Alluxio部署为公共数据访问请求的存储抽象层。Alluxio支持不同的存储连接器,包括公有云(AWS,Azure),以及私有存储服务(HDFS,Ceph)。只要应用程序与Alluxio集成,就可以访问不同的持久存储系统,而不需要在应用程序中更改二进制或源代码。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容

  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,094评论 1 32
  • 为了更好地理解Apache Ignite和用例的功能,理解它的体系结构和拓扑结构非常重要。通过更好地理解Ignit...
    席梦思阅读 7,579评论 1 8
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,266评论 0 9
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 3,836评论 0 5
  • 告别2017,迈入2018。新的一年,你的内心也一定充满了期待,内心有N多的目标想要实现。读书、跑步、写作、减肥、...
    作家格格阅读 552评论 0 1