Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。

Linkis 是什么?

Linkis

在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到

MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。

Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算/存储引擎的架构支持,包括离线批量型、交互式型、实时流式型和存储型,并新增了多种新特性,向下兼容 Linkis0.X 版本的所有接口。

开源地址

https://github.com/WeBankFinTech/Linkis 

https://gitee.com/WeBankFinTech/Linkis 

新版简介

丰富的底层计算存储引擎支持度

已支持的计算存储引擎:Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等;

集成中的计算存储引擎:Flink、Impala和Clickhouse等;

已支持的脚本语言:SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。

强大的计算治理能力

Linkis 1.0总体分为三大模块:公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下:

公共增强服务为Linkis 0.X已经提供的物料库服务、上下文服务、数据源服务和公共服务等;

微服务治理服务为Linkis 0.X已经提供Spring Cloud Gateway、Eureka和Open Feign,同时 Linkis1.0还会提供对Nacos的支持;

计算治理服务是Linkis 1.0的核心重点,从 提交 —> 准备 —> 执行三个阶段,来全面升级Linkis 对 用户任务的执行管控能力。

全栈计算存储引擎架构支持

作为计算中间件,将接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量型、交互式型、实时流式型和存储型任务,并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力;

更强大的资源管理能力

ResourceManager不仅具备Linkis0.X对Yarn和Linkis EngineManager的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让ResourceManager具备跨集群、跨计算资源类型的强大资源管理能力;

全流程标签化

基于多级组合标签,提供跨IDC、跨集群的计算任务路由管控能力,和EngineConnManager, EngineConn的多租户隔离能力;

统一上下文服务

统一用户和系统资源文件(JAR、ZIP、Properties等),跨用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

统一物料

系统和用户级物料管理,可分享和流转,跨用户、系统共享物料,支持全生命周期自动管理。



全新特性

[Linkis-572] 在“Entrance”模块中新增了EngineConn管理插件。

[Linkis-576] 新增EngineConnPlugin模块,简化用户实现Linkis新计算存储引擎。

[Linkis-579] 新增EngineConn的交互式类型顶层设计,让用户实现交互式引擎更加简单容易。

[Linkis-584]新增LinkisManager Common模块,为LinkisManager提供常用工具类。

[Linkis-585]新增LinkisManager Monitor模块,用于LinkisManager实时监控EngineConn和EngineConnManager的健康状态。

[Linkis-587] 新增EngineConn Common模块,为EngineConn提供常用工具类。

[Linkis-590] 新增EngineConn的核心模块,提供了EngineConn核心接口的定义。

[Linkis-591] 新增Computation Governance Common模块,为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增Linkis ResourceManager Common模块,提供常用工具类。

[Linkis-600] 新增LinkisManager Service Common模块,为AppManager和ResourceManager提供常用工具类。

[Linkis-602] 新增LinkisManager Persistence模块,用于持久化EngineConn和EngineConnManager的信息。

[Linkis-604] 新增微服务标签功能,并支持为每个微服务添加标签。

[Linkis-609] 新增Linkis Label模块,为Linkis全流程的标签化能力 提供基础支撑。

[Linkis-611] 强化Linkis的管控能力,全新抽象Linkis AppManager模块,用于管理EC和ECM的全生命周期。

[Linkis-630] 新增EngineConn Launch模块,提供EngineConn的main class入口。

功能增强

[Linkis-569] 增强Linkis RPC的处理能力,并向下兼容Linkis0.X的 RPC。

[Linkis-574] 增强Linkis的标签管理功能,支持对EngineConnManager和EngineConn进行标签管理。

[Linkis-575] 增强ResourceManager的能力,并将其集成到LinkisManager中。

[Linkis-578] 增强EngineManager,全新定义实现EngineConnManager模块。

[Linkis-580] 增强SparkEngineConn,以适配Linkis1.0新架构。

[Linkis-583] 增强ShellEngine,以适配Linkis1.0新架构。

[Linkis-592] 增强JDBCEngine,以适配Linkis1.0新架构。

[Linkis-594] 增强IOEngine,以适配Linkis1.0新架构。

[Linkis-596] 增强HiveEngine,以适配Linkis1.0新架构。

[Linkis-597] 增强PipelineEngine,以适配Linkis1.0新架构。

[Linkis-606] 拆分Linkis0.X的EngineReceiver为多种Service,封装到Executor模块。

[Linkis-608] 增强Linkis启动和关闭服务的脚本,优化启动步骤。

[Linkis-618] 增强PublicService和ContextService模块,以适配Linkis1.0新架构。

[Linkis-638] 增强Linkis Common的加密功能。

[Linkis-643] 增强DataSource模块,以适配Linkis1.0新架构。

[Linkis-645] 增强Linkis Hadoop模块,使Linkis支持多套Hadoop 集群。

[Linkis-648] 增强Linkis httpclient模块以支持PUT和Delete请求。

[Linkis-650] 优化Linkis mybatis模块,以与mybatis-plus集成。

[Linkis-652] 增强Linkis protocol模块,以适配Linkis1.0新架构。

[Linkis-654] 增强Linkis Gateway模块,支持通过标签路由转发前端请求。

[Linkis-655] 增强Linkis JobHistory模块,支持缓存Job的结果集,强化Job标签的管理功能。

[Linkis-656] 优化Linkis RPC模块序列化器的底层实现。

[Linkis-660] 增强Linkis Scheduler模块,支持自动清除空闲的Consumer。

[Linkis-662] 增强Linkis user control模块,以适配Linkis1.0新架构。

[Linkis-663] 增强Linkis Entrance模块,以适配Linkis1.0新架构。

[Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 增强Linkis storage模块,以支持viewFS和多hadoop集群。

[Linkis-674] 增强PythonEngineConn,以适配Linkis1.0新架构。

[Linkis-675] 优化目录,更新所有pom文件的版本信息。

社区贡献

Linkis 1.0.0-RC1的发布与WeDataSphere社区的贡献者密不可分。他们无私奉献自己的时间,并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助,Linkis 1.0.0-RC1不能如此顺利地发布。

谢谢社区的所有贡献者!

升级向导

原则上,Linkis 1.0.0-RC1的所有接口都向下兼容,因此升级对上层应用无感。

作为计算中间件,除了PublicService的用户配置数据外,Linkis数据库中的其他数据无需迁移。

有关PublicService用户配置数据的迁移,请参阅Linkis Wiki:Linkis1.0.0-RC1升级文档。

WeDataSphere,BIG DATA MADE EASY.

用心做一个有温度的开源社区

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,458评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,030评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,879评论 0 358
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,278评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,296评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,019评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,633评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,541评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,068评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,991评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,670评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2 358

推荐阅读更多精彩内容