keyBy 意思:分组之意。DataStream -> KeyedStream : 逻辑的将一个流拆分成不相交的“分区”,每个分区包含相同的 key元素,在内部以 hash ...
keyBy 意思:分组之意。DataStream -> KeyedStream : 逻辑的将一个流拆分成不相交的“分区”,每个分区包含相同的 key元素,在内部以 hash ...
简介 Flink 流应用程序处理的是以数据对象表示的事件流,所有我们需要能够处理这些对象,他们需要被序列化和反序列化,以便通过网络传递他们,或者从状态后端,检查点,和保存点读...
基本转换算子 1.mapmap 有映射的意思是把一个数据转换成另一个的意思。(把小写转大些等)2.flatMapflat的意思是扁平的平坦的意思。和map 结合是把数据平坦展...
简介 只要实现 SourceFunction 接口对应的方法就可以自定义数据源1.创建环境 2.实现 SourceFunction 接口
执行环境 创建一个执行环境,表示当前执行程序的上下文,如果程序是独立调用的则此方法返回本地执行环境,如果从命令行客户端调用程序提交到集群,则此方法返回此集群的执行环境,也就是...
Flink 运行时的组建 作业管理器: JobManager 任务管理器: TaskManager 资源管理器:ResourceManager 分发器:Dispacher 作...
下载 清华镜像[https://mirrors.tuna.tsinghua.edu.cn/apache/] ,下载需要的版本 config/fink-conf.yaml st...
maven 依赖 Flink 批处理能力 Flink 流处理能力 2.启动设置 启动nc
简介 官网[https://flink.apache.org/zh/],Flink 是分布式大数据处理引擎,可对有限水流或无限数据流做有状态或无状态对计算,能够部署在各种集群...
下载地址 Go官网下载地址:https://golang.org/dl/[https://golang.org/dl/] Go官方镜像站(推荐):https://golang...
go module go module 是Go1.11版本之后官方推出的版本管理工具。并且从Go1.13版本开始,go module 将成 Go语言默认的依赖管理工具。 官方...
vagrant ssh-config 结果 更改源: 安装 ansible 修改配置 ansible.cfg 被控主机清单 参考:https://zhuanlan.zhihu...
简介 当ansible执行脚本需要root权限的时候,我们用become功能 官方参考文档: become 文档[https://docs.ansible.com/ansib...
问题 当某个软件如java安装在某个用户下,软件的环境变量放在 ~/.bash_profile 或 ~/.zshrc .SSH 远程执行脚本报错"command not fo...
简介 ansible是新出现的自动化运维工具,急于python开发。实现了批量系统配置,批量程序部署,批量运行命令等,特性:部署简单:基于python和ssh,安全基于:Op...
简介:安装 elasticsearch 版本是6.8.0 ,ubuntu环境 下载 到华为云镜像 首先安装java 环境 安装es 修改配置文件 修改系统的参数 启动 添加s...
http 协议 http 协议是一个用于传输超媒体文档(例如html)的应用层的协议。他是为了web浏览器和web 服务器之间的通讯而设计的可以参考:MDN web Docs...
简介 大部分的情况我们的代码的执行都是按照代码的调用顺序来从头执行到尾。打印出线程的名字是http-nio-8080-exec-x 某个线程。在我们执行异步任务的时候需要创建...
简介 拦截器是spring中的概念和过滤器类似,都可以处理请求和相应。但对过滤器而言,它更处理对更细致些,可以从三个方向进行拦截处理。 perHandle 在控制器访问之前执...
1.java异常 java中的异常可是是函数中的语句引发的,也可以是通过 throw 显示的抛出去的。只要java中有异常,就会有一个对应的异常对象来封装这个类。JRE就会试...