@誓言vip 开源出来的东西得有资源快速迭代,我们正在积蓄力量
一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等1. 引言 从2021年年底开始,笔者带领一个微型团队开始开发我们的大数据平台XSailboat,目前已经初步具备实用化条件,产品将持续性地开发、完善、迭代升级。 在接下来的...
@誓言vip 开源出来的东西得有资源快速迭代,我们正在积蓄力量
一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等1. 引言 从2021年年底开始,笔者带领一个微型团队开始开发我们的大数据平台XSailboat,目前已经初步具备实用化条件,产品将持续性地开发、完善、迭代升级。 在接下来的...
1. 背景 笔者的开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中包含基于Flink的可视化计算管道开发和运...
1. 背景 在开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中的查看Flink任务的状态数据工具时,用Sta...
1. 问题 在resourcemanager.log中出现下面的异常: 2. 代码分析 分析查看源代码 类org.apache.hadoop.yarn.server.time...
1. 背景 在开发大数据平台XSailboat[https://www.jianshu.com/p/cacdcf5ec088]中的查看Flink任务的状态数据工具时,用Sta...
1. 引言 笔者早年间有很长一段时间都在阿里云DataWorks上带着团队进行数据开发,后来因为一个契机自己搞起了大数据平台XSailboat[https://www.jia...
1. 何为数据治理 数据治理是为了让数据在形式上和质量上更好地达成某一数据应用目标而进行的数据集成、数据整理、数据分析、数据修缮、数据发布,数据应用的过程。 2. 为什么需要...
1. 引言 从2021年年底开始,笔者带领一个微型团队开始开发我们的大数据平台XSailboat,目前已经初步具备实用化条件,产品将持续性地开发、完善、迭代升级。 在接下来的...
5、GB/T 38673-2020 信息技术 大数据 大数据系统基本要求(1)了解本标准的范围、术语和定义,熟悉大数据系统框架、功能要求、非功能要求。 3. 术语和定义 GB...
1. 背景 笔者正在开发大数据平台(XSailboat)中的指标建模工具(SailIMS)。以此篇文档梳理一下其中一部分关键性的功能设计。内容重点不在解释各种理论和方法,而是...
4、GB/T 38667-2020 信息技术 大数据 数据分类指南(1)了解本标准的范围、术语和定义,熟悉数据分类的过程,以及分类视角、分类维度和分类方法。 3. 术语和定义...
3、GB/T 37973-2019 信息安全技术 大数据安全管理指南(1)了解本标准的范围、术语和定义,了解大数据安全需求、大数据分类分级、大数据活动及安全要求、大数据安全风...
2、GB/T 35589-2017 信息技术 大数据技术参考模型(1)了解本标准的范围、术语和定义,熟悉大数据参考架构的目的、目标,熟悉大数据参考架构及其各组成部分。 1.范...
1、GB/T 35295-2017 信息技术 大数据 术语(1)了解本标准的范围、术语和定义,以及密切相关的通用术语。 2.1.1 大数据 big data具有体量巨大、来源...
1、《促进大数据发展行动纲要》国发〔2015〕50 号(1)熟悉数据共享的范围边界和使用方式。 (一)加快政府数据开放共享,推动资源整合,提升治理能力。1、大力推动政府部门数...
1、《中华人民共和国民法典》中华人民共和国主席令第四十五号(1)了解隐私权和个人信息保护有关内容。 第六章 隐私权和个人信息保护第一千零三十二条自然人享有隐私权。任何组织或者...
1. 背景 在笔者开发的大数据平台(XSailboat)中,包含一个任务开发、调度、监控的模块,叫XTaskWorks。这里的任务是使用Java,在XTaskFrame框...
1. 环境信息 java 1.8 SpringBoot 2.4.4 SpringGateway 3.0.5 2. 配置application.properties 证书生成方...
1. keytool命令 keytool密钥和证书管理工具 命令: -certreq 生成证书请求-changealias 更改条目的别名...
1. 应用场景 通常用在以文件的形式下载大量数据。 2. 写法举例 3. 扩展 如果被下载的资源满足以下条件,则可以先将数据写到Temp File,然后返回TempF...