Hive Lock机制导入任务执行卡住

部分业务人员反馈,任务有的时候会卡主,过段时间会执行。分析了一下Hive执行过程,背后原因如下:

Hive在执行任务过程中会有卡住的现象,任务只能通过编译但是并没有办法执行,其实背后是Hive锁的机制在生效

执行示例

我主动通过锁表命令加了exclusive锁(排他锁),导致其他人对于这张表相关的操作无法执行

显示锁表

但是当我们并不知道那个操作导致了表被锁定来如何查看呢?

通过命令:SHOW LOCKS test2 EXTENDED;

显示锁表操作

释放锁


详细的原理,可以查看给出的链接

Hive Lock机制原文链接

https://cwiki.apache.org/confluence/display/Hive/Locking

Hive Lock机制翻译链接

http://www.cnblogs.com/ggjucheng/archive/2013/01/16/2862749.html

Hive Lock相关文档

https://juejin.im/entry/593f60a4da2f60006737b2db

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容