【里程碑】| 数据应用开发管理集成框架DataSphere Studio 1.1.0 新版本发布

DataSphereStudio1.1.0 是践行数据应用开发管理框架的里程碑,集成了 WeDataSphere 已开源的所有生态组件,并带来了一系列强大的全新特性,以及更加精简、易于对接的数据应用开发集成架构设计和实现。

DataSphere Studio 简介

DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。

在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。

GitHub:https://github.com/WeBankFinTech/DataSphereStudio

DSS1.1.0 版本说明

DSS1.1.0 主要特性如下:

- 已集成 WeDataSphere 已开源的所有生态组件,包括 Apache Linkis1.1.1、Exchangis1.0.0、Schedulis0.7.0、Qualitis0.9.2、Visualis1.0.0、Streamis0.2.0 和 Prophecis0.3.2。

- 集成了 Apache DolphinScheduler1.3.X。支持将 DSS 工作流一键发布为 DolphinScheduler 工作流,为工作流调度设计并开发了全新的调度中心。

- 用户体验优化。如支持换肤、顶部导航栏改版、DSS 开发中心改版等。

- 帮助手册和新手指引。

- 安装部署优化。进一步简化 DSS&Linkis 全家桶一键安装部署流程,让 DSS 和 Linkis 的安装在半个小时内完成。

- 支持优雅升级。提供了如何从DSS1.0.1升级到DSS1.1.0,以及DSS0.9如何迁移到DSS1.1.0的详细升级流程。

- AppConn 架构优化。架构更加简化清晰,文档更加全面细腻,手把手教您如何实现一个新的AppConn,以及添加一个新的工作流节点。

缩写:

- DSS: DataSphereStudio

- DAS: Data Api Service

已集成的数据应用组件

新特性

- [DSS-AppConn] 集成了 Apache DolphinScheduler1.3.X,设计并开发了全新的调度中心

- [DSS-Commons] 适配了 Apache Linkis1.1.1

- [DSS-AppConn] 集成了 Exchangis1.0.0

- [DSS-AppConn] 集成了 Schedulis0.7.0

- [DSS-AppConn] 集成了 Qualitis0.9.2

- [DSS-AppConn] 集成了 Visualis1.0.0

- [DSS-AppConn] 集成了 Streamis0.2.0

- [DSS-AppConn] 集成了 Prophecis0.3.2

- [DSS-AppConn] AppConn 架构优化

- [DSS-Deployment] AppConn 插件安装支持热更新,无需重启所有服务

- [DSS-Deployment] 支持优雅升级

- [DSS-Workspace] 新增帮助手册和新手指引

- [DSS-UI] 开发中心用户体验优化,如支持换肤、顶部导航栏改版等

- [DSS-Workflow] 新增工作流版本的脚本文件下载功能

功能增强

- [DSS-Workspace] 精简工作空间的部分接口,同时去掉无用的部分接口

- [DSS-Workspace] 新建工作空间时增加工作空间类型选项;工作空间首页右侧新增管理台功能;右下角新增帮助按钮

- [DSS-Workspace] 原先工作空间的应用商店去掉,组件访问入口统一从左上角菜单栏进入

- [DSS-Workspace] 首页下方应用开发流程demo案例优化,将demo案例的按钮去掉,改为敬请期待

- [DSS-UI] 资源管理器按钮样式变化、增加换肤功能、工程项目列表UI变动;应用商店UI样式变化;右上角导航栏UI改动

- [DSS-DAS] 下载功能限制5000条,并且每次下载操作都要向用户弹出操作风险提示

- [DSS-DAS] 结果集可视化页面的优化调整;优化结果集分页排序;支持结果集及日志部分下拉;结果集表格宽度支持拉长

- [DSS-Workflow] 新增工作流基础属性展示

- [DSS-Workflow] 新建工作流时自动将工作流模式和工作流方式勾选

- [DSS-Workflow] 新建工作流时增加工作流重要性级别特性

- [DSS-Workflow] datachecker支持run_date变量 

- [DSS-Scriptis] 支持拖动代码tab到任意位置

- [DSS-Scriptis] Sql和Hql支持文件类型相互修改

- [DSS-Scriptis] 工作空间代码文件支持复制粘贴

- [DSS-Scriptis] 前端查看数据库表时支持只看自己创建的表

- [DSS-Commons] 用户登录之后,帮助用户清理缓存

- [DSS-AppConn] 补充Schedulis AppConn的Update和Delete 操作,并添加对应接口

Bug修复

- [DSS-Workspace] 修复在删除项目时无法同步删除所有第三方系统项目的问题

- [DSS-Workspace] 修复工作空间管理-用户管理,编辑用户接口报400 bad request的问题

- [DSS-Workspace] 修复用户管理页面用户数据显示异常的问题

- [DSS-Workspace] 修复创建项目页面中发布权限、编辑权限和查看权限的下拉框无法获取该工作空间全部用户的问题

- [DSS-Workspace] 修复切换代理用户后,前端工作空间展示的文件目录不正确问题

- [DSS-Workspace] 修复点击可视化按钮后界面没有显示可视化界面的问题

- [DSS-Workspace] 修复脚本选择右键打开到侧边控制台报错的问题

- [DSS-Workspace] 修复脚本复制粘贴到首次打开的文件夹下报错的问题

- [DSS-Workspace] 修复用户在新建工程后授予其他用户权限,结果其他用户权限异常的问题

- [DSS-Workspace] 修复工程复制功能按钮未展示的问题

- [DSS-Workspace] 修复创建工程时向第三方应用发出检测工程名是否重复的请求失败问题 

- [DSS-Workflow] 修复eventsender和eventreceiver节点传参失败的问题

- [DSS-Workflow] 修复datachecker里的run_year等新增内置参数不生效的问题

- [DSS-Workflow] 修复在有subflow的情况下,导出数据错乱或丢失的问题 

- [DSS-Workflow] 修复sendmail节点运行失败的问题

- [DSS-Workflow] 修复开发中心的工作流回滚失败问题

- [DSS-Workflow] 修复datachecker、eventsender、eventreceiver节点运行时显示Failed  to async get EngineNode AMErrorException

- [DSS-Workflow] 修复工作流暂停执行接口显示404的异常 

- [DSS-Workflow] 修复工作流节点在右键关键脚本时,目录不能展示最新的异常

- [DSS-Workflow] 修复运行有结果集节点时,管理台结果集展示不全的问题

- [DSS-Workflow] 修复datachecker在eventreceiver后面运行失败的问题

- [DSS-Workflow] 修复工作流实时执行时部分节点已成功但状态未翻转导致工作流卡死的问题

- [DSS-Workflow] 修复在实时执行工作流中代理用户设置为非系统用户名后工作流执行失败的问题

- [DSS-Scriptis] 修复工作空间导入文件到HDFS失败的问题

- [DSS-Scriptis] 修复IDE中引用全局变量无效的问题

- [DSS-DAS] 修复数据服务执行失败异常

- [DSS-DAS] 修复结果集下载报错异常

- [DSS-DAS] 修复选择多个结果集时,上个结果集的翻页会带过来的问题

- [DSS-DAS] 修复导出CSV格式的结果集显示无权限问题

- [DSS-DAS] 修复导出结果集后运行日志页面内容显示不全的问题

- [DSS-DAS] 修复运行有结果集的脚本可视化报错的异常

- [DSS-DAS] 修复结果集排序问题

- [DSS-Commons] 修复shell中调用sqoop和script code中的代码与脚本中不一致问题

- [DSS-Commons] 修复shell节点输入vi a.txt命令会导致脚本一直运行且引擎处于繁忙的问题

- [DSS-Commons] 修复接口/api/rest_j/v1/dss/datapipe/backgroundservice将代理用户设置为空导致报错的异常

- [DSS-Commons] 修复hadoop用户创建项目时未赋予A用户任何权限,但A用户工作空间仍显示该项目的异常

- [DSS-AppConn] 修复AppConn启动时偶现zip失败的问题

- [DSS-Engine] 修复Python 3引擎被Kill后,运行节点显示为Python 2的问题 

贡献者

DSS 1.1.0 的发布离不开DSS社区的贡献者,感谢所有的社区贡献者,包括但不仅限于以下贡献者:

  • rootljw、teenwolf0910、njnu-seafish
  • luban08、HanTang1、det101
  • KidUncle、mingfengwang
  • 安装包

    DSS1.1.0&Linkis1.1.1一键安装包:

    https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/dss_linkis_one-click_install_20220704.zip 

    — END —

    如何成为社区贡献者

    ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者

    ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161

    ► 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:

    ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;

    ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

    ©著作权归作者所有,转载或内容合作请联系作者
    • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
      沈念sama阅读 217,907评论 6 506
    • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
      沈念sama阅读 92,987评论 3 395
    • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
      开封第一讲书人阅读 164,298评论 0 354
    • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
      开封第一讲书人阅读 58,586评论 1 293
    • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
      茶点故事阅读 67,633评论 6 392
    • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
      开封第一讲书人阅读 51,488评论 1 302
    • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
      沈念sama阅读 40,275评论 3 418
    • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
      开封第一讲书人阅读 39,176评论 0 276
    • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
      沈念sama阅读 45,619评论 1 314
    • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
      茶点故事阅读 37,819评论 3 336
    • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
      茶点故事阅读 39,932评论 1 348
    • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
      沈念sama阅读 35,655评论 5 346
    • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
      茶点故事阅读 41,265评论 3 329
    • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
      开封第一讲书人阅读 31,871评论 0 22
    • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
      开封第一讲书人阅读 32,994评论 1 269
    • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
      沈念sama阅读 48,095评论 3 370
    • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
      茶点故事阅读 44,884评论 2 354

    推荐阅读更多精彩内容