Flume同步数据到hive

一.检查flume/lib下是否有一下jar包:

libfb303-0.9.3.jar,
hive-exec-1.2.1000.2.5.3.0-37.jar,
hive-metastore-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming.jar,
hive-hcatalog-server-extensions-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-server-extensions.jar,
hive-hcatalog-pig-adapter-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-pig-adapter.jar,
hive-hcatalog-core-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-core.jar

没有的话可以在服务器上find然后cp一波,后面八个在同一个文件夹下
二.建表时一定满足条件
1.分桶
2.orc格式
3.TBLPROPERTIES ('transactional'='true');
三.查询时如果出现报错,不管三七二十一直接

set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
set hive.support.concurrency=true
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文大致介绍通过flume与kafka的结合,将mysql数据抽取到hive中. 1.那么什么是flume呢? F...
    剑士66阅读 3,281评论 1 3
  • 又是周五啦~ 分享完就回家过周末~_~ flume集成hive的笔记 1、 确定你的flume在哪台主机上 2、 ...
    卿卿老祖阅读 2,731评论 0 1
  • .Azkaban工作流引擎和Flume数据采集 Azkaban介绍 一、Azkaban简介 为什么需要工作流调度系...
    依天立业阅读 2,115评论 0 2
  • 存在于真实和幻境之间,流失于慌慌呼呼之中。真实在于现实的无法改变,幻境在于无止境的梦境,拥有和失去都始终是...
    伴生魂阅读 260评论 0 0
  • 雷素敏,焦点网络中,12期坚持原创,分享398天。昨天在教师进修学校听了一堂河南大学王茝老师的讲座教师的职业素养。...
    风雨之前阅读 228评论 0 0