用两个表（a_table、b_table），关联字段a_table.a_id和b_table.b_id来演示一下MySQL的内连接、外连接（ 左(外)连接、右(外)连接、全(...
发简信
IP属地：香港
-
图解MySQL 内连接、外连接、左连接、右连接 -
java之super关键字一、基础知识 1、super不是引用类型，super中存储的不是内存地址，super指向的不是父类对象 2、super指代的是当前子类对象的父类特征 （如图） 3、什么时候使...
-
Java内存模型是什么？线程安全问题为什么会引发？近日，有热心市民就 "Java内存模型 " 提出质疑： 线程是否会把所有需要操作的数据全加载到内存 根据《我是憨包》可以看出，当事人蛋蛋(化名)目前情绪稳定，并且似乎已经意识...
-
用awk和sed实现矩阵转置
输入矩阵：input.txt 利用awk和sed将矩阵转置 代码详解： NF代表每一行的字段总数，即列数，在这里为4 2代表第二列 awk是按行读取 读取第一行， i=1，i...
-
Spark Join 的三种方式
#Spark join的三种方式： 1.broadcast hash join：将其中一张较小的表通过广播的方式，由driver发送到各个executor，大表正常被分成多个...
-
互联网安全协议IPsec-IPsec的工作模式学习《计算机网络安全》 IPsec的工作模式 IPsec有两种工作模式，即传输模式和隧道模式。传输模式用来直接加密主机之间的网络通信；隧道模式用来在两个子网之间建造“虚拟隧道...
-
使用VTP批量传递VLAN
一、什么是VTP？VTP作用？如何配置？ 1）VTP：VLAN Trunking Protocol，VLAN中继协议，也叫VLAN干道协议，思科私有协议。 2）VTP作用是把...
-
-
merge好像是自动完成的，这一点不理解，在代码中如何实现的。
比如我在main函数中，调用了add方法输入数据，最后也调用了value打印累加器最终的value。但main中我没有调用merge。merge是什么时候完成的？Spark累加器（Accumulator）
什么是累加器 累加器：分布式共享只写变量。（Executor和Executor之间不能读数据）累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中...
-
Spark累加器（Accumulator）
什么是累加器 累加器：分布式共享只写变量。（Executor和Executor之间不能读数据）累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中...
-
【I/O】磁盘I/O 和 网络IO的区别Linux 上 磁盘io 和 网络io的区别是什么？ 磁盘IO和网络IO是两种不同的IO类型，它们的区别如下： 磁盘IO：磁盘IO是指计算机系统中，数据在磁盘和内存之间的读写...
-
Spark学习笔记二：Spark Core一、RDD RDD概念 RDD（Resilient Distributed Dateset）弹性分布式数据集 RDD的五大特性 RDD是由一系列的partition组成的。 ...
-
Spark性能调优思路本文是作者在读完《Apache Spark - Best practices and Tuning》以及《High Performance Spark》以后，对如何编写高效的...
-
MapPartition和Map的区别
MapPartition和Map的区别 在Spark和Flink中有map和mapPartitions算子，处理数据上，有一些区别 主要区别： map是对rdd中的每一个元素...
-
Spark中map、mappartition、foreach 以及 foreachpartition的区别和对比
在 Spark 性能调优中，经常会被建议尽量用 mappartition 操作去替代 map 操作。本文将会对这一论断背后的原因进行阐述。 一、map 操作 V.S. m...
-
实力来自点点滴滴的积累，专注原创，分享大数据技术。
