##[开源]linkedin/WhereHows: Data Discovery and Lineage for Big Data Ecosystem(大数据开源元数据管理系统)


解读2016之大数据篇:跨越巅峰,迈向成熟 http://www.infoq.com/cn/articles/interpretation-of-2016-of-the-big-data
WhereHowsWhereHows是LinkedIn在2016年开源的一套数据目录发现和数据世系管理的平台。可以当作企业的中心元数据管理系统,对接不同的数据存储和数据处理系统,从而能够全面的管理企业数据目录、数据结构以及数据世系。

Alation是一套企业级的数据管理和数据发现的平台,与WhereHows不同的是Alation并不是一个开源的平台,而是一套商用的平台。除了基础的数据管理、数据发现,这个平台还支持多角色的协作,因为对于数据相关的工作,更好的协作才能提高生产的效率。Alation公司是成立于2012年的一家创业公司,2015年获得了900万美金的A轮融资。


LinkedIn 开源其数据发现和管理工具 WhereHows – 开源派 http://osp.io/archives/1571

LinkedIn 近期开源了一个元数据中心工具 WhereHows,已经在 LinkedIn 内部长期使用。WhereHows 方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。

WhereHows 是 LinkedIn 构建的数据发现和大数据宗系工具,集成了所有主要的数据处理系统,可以进行目录收集和元数据操作。

WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。在当前,LinkedIn 的 WhereHows 存储的数据: 50,000 数据集,14,000 评论和 3500 万作业执行。

LinkedIn 是 Hadoop 的用户,但也支持其他系统,比如 Oracle 数据库,Informatica 等等。

WhereHows 提供给开发者两种访问方式:API(数据处理)和 Web 接口(数据发现和社区协作),允许员工查看一个数据集的宗系,进行注释或者其他操作。


Paste_Image.png

//
GitHub - linkedin/WhereHows: Data Discovery and Lineage for Big Data Ecosystem https://github.com/linkedin/WhereHows

//wiki
Home · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki

//Getting-Started
Getting Started · linkedin/WhereHows Wiki · GitHub https://github.com/LinkedIn/Wherehows/wiki/Getting-Started

//
Set Up New Metadata ETL Jobs · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Set-Up-New-Metadata-ETL-Jobs

//
Backend API · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Backend-API#etl-job-post

//Architecture
Architecture · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Architecture

//
Quick Start with VM · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Quick-Start-With-VM
//WhereHows-VM_免费高速下载|百度网盘-分享无限制 http://pan.baidu.com/s/1qXi2XWg?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0#list/path=%2FWhereHows-VM

//
Multiproduct Metadata ETL · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Multiproduct-Metadata-ETL


WhereHows首页、文档和下载 - 数据发现和管理工具 - 开源中国社区 https://www.oschina.net/p/wherehows
WhereHows 是 LinkedIn 公司一个用于大数据发现和管理的工具,集成了所有主要的数据处理系统,可以进行分类收集和元数据操作。方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。

WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。当前 LinkedIn 的 WhereHows 存储的数据: 50,000 数据集,14,000 评论和 3500 万作业执行。


LinkedIn开源元数据管理工具WhereHows - IT经理网 http://www.ctocio.com/ccnews/20483.html
职业社交平台LinkedIn今天开源了元数据管理工具WhereHows(GitHub),该工具可以帮企业员工发现和分享企业内部的元数据。
LinkedIn部署了很多数据存储和处理系统,包括Teradata的数据仓库、开源的Hadoop分布式文件系统,开源的Hive数据仓库以及自己开发的开源试试分析软件Pinot。而WhereHows则能帮LinkedIn的员工检索和分享LinkedIn的HDFS系统中超过25000个共享数据集。在数据爆炸的今天,随时掌握企业内部有价值信息的情况(元数据)非常重要,这能大大提高企业员工的信息搜索和分享深度,盘活整个企业的数据资产。
LinkedIn此前也开源过很多大数据工具,例如上文提到的Pinot,以及Azkaban、Kafka、Samza和Voldemort等,但在数据发现和数据目录方面的工具,WhereHows还是头一个。对于那些数据架构复杂的企业来说,WhereHows具有很高的实用价值。而对于LinkedIn来说,开源高价值高人气的工具能够帮助公司吸引优秀人才,这一点比什么都重要。
WhereHows的详细文档在这里

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容