开源工具
就上一篇数据服务平台写的四个工具平台来说,除了元数据和质量监控没见有很好的开源项目之外,报表与多维分析平台,调度系统,(对于一般的公司,这两个工具才是必要的),现在已经有很多开源项目了,下面简单列一下。
报表与多维分析平台
Superset
Superset是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,支持多数据源,支持sql查询,支持各种图表展示。Davinci
宜信开源的大数据可视平台。
调度系统
Airflow
Airbnb 开源的,编排、调度和监控workflow的平台,是一个工作任务的调度平台,其内置了比较全面实用的调度功能。sia-task
宜信开源的微服务任务调度平台。TBSchedule
淘宝开源的分布式的调度框架
-
DolphinScheduler(原EasyScheduler)
易观开源并提交apache的调度系统。可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
感想
最近看了一个dba的帖子,他说,"我很努力,学习新知识,紧跟技术发展,但是腾讯阿里等云平台,对我来说是降维打击,对于公司来说,可能不再需要dba这个职位了。"
确实,大数据发展到现在,对数据本身之外,大家开始重视辅助的工具平台,各个公司自己开发,然后逐步开源出来。开源出来的工具,质量和易用性来说都很好,对于一般小公司来说,开源的工具完全可以覆盖自己的需求,那么,自然就没必要开发自己的工具了。公司在个性化需求全独立开发和简单易用的开源工具上,很容易做出选择。对于一些大数据开发来说同样是降维打击。当然,需要对开源工具做二次开发,但是对比自研,需要的人力要少的多。
忧虑,但是没办法。
欢迎关注
攻城锤的数据仓库