sqoop增量

sqoop import \

--connect jdbc:mysql://master21:3306/test \

--username hadoop \

--password 123456 \

--table customertest \

--check-column last_mod \

--incremental lastmodified \

--last-value "2017-12-11 14:33:54" \

--m 4 \

--split-by id \

--merge-key id \

--append





sqoop  import \

--connect jdbc:mysql://master21:3306/test \

--username hadoop \

--password 123456 \

--table customertest \

--check-column id \

--incremental append \

--last-value 0 \

--m 4 \

--split-by id \

--merge-key id \

--append





sqoop import \

--connect jdbc:mysql://master21:3306/test \

--username hadoop \

--password 123456 \

--table customertest \

--m 4 \

--split-by id \

--merge-key id \

--hive-overwrite

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 5,192评论 0 0
  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 7,696评论 1 5
  • 背景 业务系统库数据包含了大量历史数据,核心的表超过千万级甚至亿级后,传统在业务库上做数据分析已不合时宜,需要迁移...
    MichaelFly阅读 7,243评论 0 6
  • sqoop的功能架构 sqoop是能够在hdfs和关系型数据库之间进行数据量大的数据转换工具,底层运行的是mapr...
    心_的方向阅读 7,034评论 3 4
  • 一、从rdbms导入到hdfs中 1、一 import(从rdbms导入到hdfs中) 可选参数 默认使用as-t...
    蠟筆小噺没有烦恼阅读 4,464评论 0 0

友情链接更多精彩内容