从数据库和本地上传数据到集群

所需工具

kettle,搭建好的集群

连接集群

首先,先将记事本以管理员身份打开
C:\Windows\System32\drivers\etc\hosts
添加集群的IP地址和集群名称

登陆集群下载配置依赖

下载YARN,HIVE,HDFS,HBASE的配置依赖
将yarn中的yarn-site.xml,mapre-site和hive的hive-site.xml和hdfs的hdfs-site.xml,core-site.xml以及hbase的hbase-site.xml复制到
kettle\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510中

在kettle的工具/hadoop distribute中选择cloudera CDH 5.10

重启kettle,在hadoop clusters新建 写入hostname,用户名和密码不填,进行测试

如果测试链接有错误,需要进行调试

1.集群上没有自己的用户
查看自己电脑用户名(win+r cmd) 在集群新建hadoop fs -mkdir /user/用户名

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容