最近一直在找与大数据探索分析相关的工具,找到的大多都是Hue和Zeppelin。前几天发现微众银行在Github上开源了一个叫Scriptis的大数据开发工具,便试着使用了一下,觉得功能很不错,就打算结合官方给的文档和自己的使用体验整理出来一篇文章。本篇文章会先介绍Scriptis是什么,再介绍它的一些功能点。
Scriptis地址链接
Github:https://github.com/WeBankFinTech/Scriptis
Scriptis是什么
Scriptis是微众银行大数据平台发布的一款支持在线写SQL,PySpark,HiveQL等脚本的数据分析Web开发工具。它能方便用户使用大数据平台的Spark,Hive和HBase等计算引擎,进行交互式查询和分析,并提供了图形化、多样化的界面,让用户在进行数据分析、脚本编辑和测试。
Scriptis好在哪里
对比之前笔者使用过的Hue和Zeppelin,在Scriptis中,可以统一设置全局的自定义变量、系统变量。此外还可任意在UDF模块中根据自己的需求添加想要的函数。脚本运行过程中也有代码检测和智能诊断的功能,可以降低用户查找错误的成本。最后还支持多结果集,且结果集能直接发布到可视化工具模块。其余的功能点笔者也仍在探索中。
Scriptis的核心功能
1.工作空间
在工作空间中可以清晰快速地管理文件,上方的搜索功能也支持文件的快速查找。在工作空间右键选择新建脚本就可在弹出窗口自行选择脚本的类型和创建路径。
2. 脚本编辑
新建脚本后用就可以直接在脚本编辑框中进行编辑了,这部分笔者觉得不错的一点是Scriptis提供了自动补全和语法纠错的功能,提升了用户的使用感。脚本编辑完成后点击上方的运行和保存就可以开始运行脚本。
3. 数据库
右键数据库中的表可以选择查询表,删除表,查看表结构等各种功能。
4. UDF模块
该模块可以对个人函数进行管理和共享。笔者按照文档的描述自己尝试着创建了一个UDF。只需将编译好的jar包上传到工作空间,并自己选择函数名和注册格式等即可。最后也可对自己创建的函数进行测试并查看结果。
5. 运行时功能、运行结果和脚本历史
笔者发现脚本运行过程中可以在脚本编辑框下部的进度栏查看当前脚本的运行情况。结束后运行结果可以直接下载到浏览器本地,有CSV和excel两种格式选择,也可通过导出选项导入到工作空间中。在运行结果的同一栏中也可以看到有脚本历史选项,脚本历史记录了脚本运行的所有记录,通过查看该部分就可快速找到脚本之前的运行日志和结果。
6. 管理台
在管理台中可以进行全局变量的设置,相关引擎的设置以及查看全局历史和资源管理器。
7. 右下角弹出框
通过点击右下角弹出框可以快速查看到任务、引擎和队列管理器,可以方便用户更好的进行资源管理。
整体使用感受
笔者在使用完Scriptis后最大的感受就是Scriptis的功能都非常贴近用户的使用需求,从脚本代码的纠错、支持创建自定义函数,到脚本运行过程中可实时查看进度再到最后结果生成的下载和导出等。此外Scriptis的用户界面也做的非常简洁清晰,使用体验非常好。总的来说,如果大家在平时工作中也有数据分析的相关需求并且想尝试一些新的、用户友好且强大的工具,Scriptis会是一个不错的选择。