sqoop的整体架构

sqoop1与sqoop2的区别

sqoop1提供用户命令行的方式使用数据迁移功能对数据进行迁移。目前提供的功能由关系型数据库，Hbase， hive, HDFS之间的数据迁移。Sqoop1的缺点是：

  • 基于命令行的操作方式，易出错，且不安全。
  • 数据传输和数据格式是紧耦合的，这使得connector无法支持所有的数据格式
  • 用户名和密码暴漏出来
  • sqoop安装需要root权限

sqoop2在sqoop1的基础之上

  • 对迁移功能的组件进行了更细致的划分。
  • 引入sqoop server，集中化管理Connector等
  • 多种访问方式：CLI，Web UI，REST API
  • 引入基于角色的安全机制
    sqoop2相比sqoop1来说更容易扩展，更易于使用， 更安全。

sqoop1的整体架构

sqoop.png

sqoop2的架构

sqoop2.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容