LinkedIn 开源其数据中心工具 WhereHows

LinkedIn 近期开源了一个元数据中心工具 WhereHows,已经在LinkedIn内部长期使用。WhereHows 方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。

WhereHows 是 LinkedIn 构建的数据发现和 大数据 宗系工具,集成了所有主要的数据处理系统,可以进行目录收集和元数据操作。

WhereHows 遵循 Apache 2.0 开源授权协议,提供在 GitHub:

https://github.com/linkedin/WhereHows

WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。在当前,LinkedIn 的 WhereHows 存储的数据: 50,000 数据集,14,000 评论和 3500 万作业执行。

LinkedIn 是 Hadoop 的用户,但也支持其他系统,比如 Oracle 数据库,Informatica 等等。

WhereHows 提供给开发者两种访问方式:API(数据处理)和 Web 接口(数据发现和社区协作),允许员工查看一个数据集的宗系,进行注释或者其他操作。

原文地址:http://osp.io/archives/1571

WhereHows 详细文档请看:https://github.com/linkedin/WhereHows/wiki/Architecture

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,167评论 25 709
  • 解读2016之大数据篇:跨越巅峰,迈向成熟 http://www.infoq.com/cn/articles/i...
    葡萄喃喃呓语阅读 3,730评论 0 5
  • 生活还是要接地气,还是要活出自己天然本色。从小到大得到的教育都是你在什么时候要做什么事情,你在什么时候要怎么一个...
    小坎儿阅读 406评论 0 0
  • 人间白狐藏甘苦,桃花园沁燃灯烛。 轮回梦影离千世,杯酒饮尽焚天炉。 山中舞,草一株,琵琶赋,画雨图。 自请寒川添谱...
    熠照童安阅读 204评论 0 1
  • 喜欢一个人 讨厌一个人 都是自己的事 但是这喜欢与讨厌 是你自己的情感 还是别人给你的灌输 这很重要 如果你是前者...
    周喜阅读 359评论 0 1