spark 从impala导数据到oracle各种坑

1.在插入数据时,插入一两个字段没问题,如果插入全部字段可能会报如下错误
[Simba]ImpalaJDBCDriver Error in fetching data rows: Memory limit exceeded: Failed to allocate tuple buffer
HDFS_SCAN_NODE (id=0) could not allocate 1.23 MB without exceeding limit.
Error occurred on backend hadoop01:22000 by fragment cf449e896ecf9b64:7802e69f00000003
Memory left in process limit: -13.49 MB

解决方案:
调整
default_pool_mem_limit = -1
memory.soft_limit_in_bytes = -1
mem_limit = 0
memory.limit_in_bytes = -1

2.在用jdbc查询impala时
如果用了查询条件如果用了 limit 可能会报如下错误:
[Simba]JDBC Error converting value to BigDecimal.
解决方法:就是不要用limit

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 5/15/2017 7:06:35 PM 纵观各大组件,配置文件占据极其重要的地位。可配置化也是当下开发的一流行趋...
    爱做梦的胖子阅读 4,461评论 0 8
  • 超高速音视频编码器用法: ffmpeg [options] [[infile options] -i infile...
    吉凶以情迁阅读 4,715评论 0 4
  • Definitions / TerminologySince different projects have us...
    yutiansut阅读 395评论 0 0
  • 最近一周经历了起起伏伏,笔试屡次无结果,面试实习生很小的创业公司也没有后续通知,我对自己的实力产生了很大的怀...
    艾织梦阅读 291评论 0 0
  • 我们在南来北往的列车上颠簸着各自窗外门前的故事 左边人舍,右边荒野 万物眼帘中映着的都是那个面目全非的自己 暮冬路...
    宋禾初阅读 116评论 0 1