发简信
IP属地：青海
-
数据漂移的处理
数据漂移的处理 通常我们把从源系统同步进人数据仓库的第一层数据称为 ODS stag ing 层数据，阿里巴巴统称为 ODS 。数据漂移是 O...
-
hive之存储格式
今天给大家分享一个主题：Storage Format, 也就是存储格式 我们先在 hive 里建张表，打开 hive 的控制台，创建一个表cre...
-
hive调优
hive调优 一、fetch策略 hive.fetch.task.conversion现在版本默认值是morenone：表示禁用，任何查询都会走...
-
hive元数据
Hive元数据是什么？ 元数据，即解释数据的数据。在Hive架构中，数据库/表内实际数据存放在HDFS之类的分布式存储系统中，但这些数据并不带有...
-
Hive如何处理大量小文件
Hive如何处理大量小文件 小文件是如何产生的 1.动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增2.数据源本身就包含有大...
-
常见sql种 lateral view用法：
常见sql种 lateral view用法： 1.question_option_id是数组存储格式是字符串类型 2.question_opti...
-
spark常见错误：
spark常见错误：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apach...
-
阿里云常见错误：
阿里云常见错误： 2021-07-19 20:21:27 INFO Current task status:RUNNING 2021-07-19...
-
kafka
Kafka官网 kafka.apache.org 1.官网的介绍 消息中间件 承上启下 缓冲 稳稳的消费flume-->kafka-->ss...