Sqoop

Sqoop中分为import和export,这个是相对于Hadoop来说的,从RDBMS把数据导入到HDFS,Hive,HBase中是import,反过来是export。
Sqoop工作机制是将导入导出的命令翻译成MR程序来实现。
原有的MR中是TextInputFormat,Sqoop是对InputFormat,OutputFormat进行了定制,DBInputFormat。数据库的读写肯定和文本文件的读写不同。


解压安装包,进入conf目录



这里在配置Hadoop目录的时候,有可能定制后的Hadoop,COMMON和MAPRED两个的目录不同。此处是一样的。
设置好Hadoop和Hive的目录:
HBase这里暂时没有用到,Zookeeper是和HBase相关的。

需要和MySQL之间进行数据传递,需要MySQL的连接驱动。将MySQL的驱动文件放到Sqoop的lib目录下。

测试一下Sqoop能不能使用:
在Sqoop目录下运行已经编辑好的执行脚本:
bin/sqoop list-databases --connect jdbc:mysql://:3306/ --username root --password mysql

可以看到打印出了MySQL中创建的所有的数据库。连接成功,Sqoop的安装正确。


©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 7,699评论 1 5
  • Sqoop: SQL to Hadoop 场景:数据在RDBMS中,我们如何使用Hive或者Hadoop来进行数据...
    CrUelAnGElPG阅读 2,578评论 0 0
  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 5,195评论 0 0
  • Apache Sqoop is a tool designed for efficiently transferr...
    白面葫芦娃92阅读 5,327评论 0 0
  • 上节课学习了Hadoop集群测试,这节课我们一起学习一下Sqoop,Sqoop是专门用来迁移数据的,它可以把数据库...
    文子轩阅读 11,992评论 1 9

友情链接更多精彩内容