数据漂移的处理 通常我们把从源系统同步进人数据仓库的第一层数据称为 ODS stag ing 层数据，阿里巴巴统称为 ODS 。数据漂移是 ODS 数据的一个 顽疾，通常是...
发简信
IP属地：浙江
-
-
Hive如何处理大量小文件
Hive如何处理大量小文件 小文件是如何产生的 1.动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增2.数据源本身就包含有大量的小文件3.reduce个数...
-
常见sql种 lateral view用法：
常见sql种 lateral view用法： 1.question_option_id是数组存储格式是字符串类型 2.question_option_id是数组，存储格式是数...
-
spark常见错误：
spark常见错误：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apache.spark.metrics...
-
2021-03-11
Spark初识 spark几种模式 local 下载下来后，不做什么配置 StandLone 了解即可·····Spark集群： 1个节点 N个节点 VS Had...
-
2021-03-10
HDFS常用API 在前面获取文件系统的客户端对象（里面都是配置文件） 在后面关闭流 将hdfs文件下载到本地 用流来实现 //将hdfs文件下载到本地 删除文件 读取文件...
-
2021-03-07
spark初识 1.MapReduce map + reduce 开发easy?一般情况下：map ==》（写入） 磁盘 reduce ==>（写入） hdfs特殊;...
-
spark之RDD详解----五大特性spark Github: https://github.com/apache/spark/[https://github.com/apache/spark/]RDD： 让开...
-
安装mysql5.7
可以参考视频链接： 视频链接[https://www.bilibili.com/video/BV12b411N7Lv]视频链接[https://www.bilibili.co...
-
Hadoop SecondNameNode工作机制、常用命令与常用设置1. SNN****（****secondNamenode****） 1.1****secondNamenode****工作机制 1.secondNamenode执行chec...
-
linux生产常用笔记（二）
LInux笔记 1. 磁盘 1.1****df -h 它报告文件系统磁盘空间的使用情况。 真实的数据盘 2. 内存 free -m：查看内存使用情况 5058/7823 =6...
