@Enkeys 可以拿到json格式
Hive主要模块及调用关系Hive主要模块及调用关系 Hive工作原理 Hive的编译器 编译器主要有这么几个模块：Parser，SemanticAnalyzer，LogicPlanGenerator...
发简信
IP属地：山东
-
-
如果一个batch的总量依然很小，这种方案依然是行不通的，而且严重影响stream速率，往往会导致批次堆积
解决Spark Streaming写入HDFS的小文件问题
今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。 我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果...
-
Hive元数据升级工具源码剖析——HiveSchemaTool1 背景 随着公司业务的井喷式发展，数仓元数据也日益庞大，尤其是存在很多设计不合理的大分区表，导致一些元数据表（如PARTITIONS，PARTITION_PARAMS等表）...
-
记一次Hive任务hang住的问题(2)
1 背景 线上Hive任务偶尔出现hang住的现象.经排查确认是触发了Hive的bug, 该bug在Hive-10569(https://issues.apache.org/...
-
记一次端口不释放的问题
1 背景 一台服务器的端口数是有限的资源，如果端口被大量占用则会存在未知的故障。案例：线上HiveServer2发生故障: 大量任务hang住, 经排查是因为服务器没有可用的...
-
记一次Hive任务hang住的问题(1)
1 问题背景 beeline偶尔出现任务进程卡住, 长时间等待无响应的情况.下面尝试进行分析及定位代码位置. 2 分析步骤 2.1 首先定位进程的<pid> 这里我们很明确是...
-
git push 时报 Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解决办法1 背景 原因: 公钥和私钥出现错误.解决方案: 重新配置公钥和私钥. 2 操作步骤 1 根据邮箱重新生成自己的公钥和私钥:下述命令一路回车即可 2 启动ssh代理 3 修改...
-
教你如何新建一个NB的Maven工程通常我们看社区源码或者下载社区代码安装后发现，社区工程通常有bin、conf、lib等目录，从而代码结构十分清晰，如何做到的呢？ 首先，来看看我们平常遇到的痛点。 痛点一：w...
-
哈哈，你想关注哪一块？
Hive主要模块及调用关系
Hive主要模块及调用关系 Hive工作原理 Hive的编译器 编译器主要有这么几个模块：Parser，SemanticAnalyzer，LogicPlanGenerator...
-
-
Thrift架构及源码解读1 Thrift基本用法 1.1 搭建thrift编译环境 1.1.1 tar包下载 http://www.apache.org/dyn/closer.cgi?path=/t...
-
实战:自己编译JDK
在学习深入理解Java虚拟机的过程中，觉得自己编译JDK是很酷的一件事。所以就尝试一下，由于老版本编译的教程数不胜数，也没有挑战性，所以本文挑战社区最新版，希望有一些未知的事...
-
sublime使用总结及个人配置以下在mac环境操作通过。 1.插件安装方式 通过 Preference --> Brower Packages查看包(插件)的安装目录，事实上，通过备份该目录即可达到备份插...
-
