Sqoop

sqoop使用:
  • 根据脚本执行:sqoop --options-file sqoop.sh

import
--connect
"'jdbc:sqlserver://[url]:[port];DatabaseName=[database];user=[user];password=[password]"
--driver
com.mysql.jdbc.Driver
--query
"SELECT id, name FROM sqoop_test WHERE $CONDITIONS"
--hbase-table
sqoop_table
--column-family
cf1
--hbase-row-key
id
--split-by
id
-m
8

  • sqoop运行提示Class Not Found,将需要的jar放到/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/sqoop/lib下面

  • 直接命令执行 sqoop import --connect 'jdbc:sqlserver://[url]:[port];DatabaseName=[database];user=[user];password=[password]' --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --query "SELECT id,status,updateTime FROM dbo.discovery WHERE updateTime > '$1' and \$CONDITIONS" --hbase-table discovery --hbase-create-table --column-family cf1 --hbase-row-key id --split-by id -m 8

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容