1 背景 随着公司业务的井喷式发展，数仓元数据也日益庞大，尤其是存在很多设计不合理的大分区表，导致一些元数据表（如PARTITIONS，PARTITION_PARAMS等表）...
发简信
IP属地：天津
-
Hive元数据升级工具源码剖析——HiveSchemaTool -
记一次Hive任务hang住的问题(2)
1 背景 线上Hive任务偶尔出现hang住的现象.经排查确认是触发了Hive的bug, 该bug在Hive-10569(https://issues.apache.org/...
-
记一次端口不释放的问题
1 背景 一台服务器的端口数是有限的资源，如果端口被大量占用则会存在未知的故障。案例：线上HiveServer2发生故障: 大量任务hang住, 经排查是因为服务器没有可用的...
-
记一次Hive任务hang住的问题(1)
1 问题背景 beeline偶尔出现任务进程卡住, 长时间等待无响应的情况.下面尝试进行分析及定位代码位置. 2 分析步骤 2.1 首先定位进程的<pid> 这里我们很明确是...
-
git push 时报 Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解决办法1 背景 原因: 公钥和私钥出现错误.解决方案: 重新配置公钥和私钥. 2 操作步骤 1 根据邮箱重新生成自己的公钥和私钥:下述命令一路回车即可 2 启动ssh代理 3 修改...
-
教你如何新建一个NB的Maven工程通常我们看社区源码或者下载社区代码安装后发现，社区工程通常有bin、conf、lib等目录，从而代码结构十分清晰，如何做到的呢？ 首先，来看看我们平常遇到的痛点。 痛点一：w...
-
Thrift架构及源码解读1 Thrift基本用法 1.1 搭建thrift编译环境 1.1.1 tar包下载 http://www.apache.org/dyn/closer.cgi?path=/t...