20180614早课记录31-Sqoop

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?

编译 搭建 DDL DML 动态分区 静态分区 函数

2.hive的元数据我们存储在哪?数据存储在哪?

MySQL HDFS

3.udf函数临时生效和永久生效会不会?

还没具体做

4.sqoop是mr job?

是mr job

5.我们常用的是sqoop1,那么对比sqoop2,这两者区别

两个不同版本,完全不兼容

6.sqoop导入,可以根据SQL导吗?

可以

7.(拓展题)sqoop如何全量,如何每天增量导数据到hive(这块你们去调研看看 增量)

还需调研

8.提醒各位: sqoop在mysql导入到hive,在生产上,由于数据不可能那么像我们课堂规范,比如数据含有换行符这种的,那么导入到hive是不是会出问题?(默认\t 分割,\n换行符)那么你们觉得我们该怎么办?(拓展题,自己搜搜看看)

不规范可以先清洗

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 7,685评论 1 5
  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 5,173评论 0 0
  • 前言 大数据处理技术应用: [x] 电信运营商 数据营销:房地产营销、运营商时代(汇聚用户行为) [x] 互联网用...
    MichaelFly阅读 9,957评论 0 16
  • 1.大数据协作框架: 大数据协作框架是Hadoop 2.x生态系统中几个辅助框架。最为常见的是以下几个: 数据转换...
    奉先阅读 8,287评论 0 2
  • 上节课学习了Hadoop集群测试,这节课我们一起学习一下Sqoop,Sqoop是专门用来迁移数据的,它可以把数据库...
    文子轩阅读 11,982评论 1 9

友情链接更多精彩内容