StreamSets安装配置

1.1.安装前准备

到StreamSets官网提供的下载址:https://archives.streamsets.com/index.html

下载以下文件:这里下载使用的是 3.0版本

1.manifest.json 文件

2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件(比较大约4G左右,包含比较完整的插件)

3.STREAMSETS-3.0.0.0.jar


1.2.配置本地Parcel包

将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel,放在一个新建文件夹StreamSets3.0中,并移动到/var/www/html 目录中,做离线包的下载地址,用浏览器访问如下,表示成功


1.3.配置CSD


将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限,然后重启cloudera-scm-server服务

[root@cdh4 ~]# cp STREAMSETS-3.0.0.0.jar /opt/cloudera/csd

[root@cdh4 csd]# sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar

[root@cdh4 ~]# systemctl restart cloudera-scm-server


1.4.下载分发激活Parcel包

在CM界面中点击Parcel > 配置 > 添加StreamSets的Parcel包路径,并保持修改


并下载分发和激活(本文档省略该步骤,直接查看激活后的状态)


1.5.添加StreamSets服务

完成上述步骤后,在集群 > 添加服务 中添加StreamSets 的服务


选择StreamSets安装


选择一个DataCollector 节点,默认配置,继续等待安装和启动完成


1.6重启

安装完成之后,配置发生更改需要重启一下集群。

1.7安装成功

在集群界面可以看到


1.8StreamSets登录

点击 StreamSets > Data Collector WebUI访问

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 于安澜端着咖啡站在落地窗旁边,看着海边过往的男男女女,嘴角一笑,叹了一口气放下咖啡,蹬蹬蹬的离开,脚上的那双高跟...
    七三欧尼阅读 2,425评论 0 2
  • 从事这一职业需要具有渊博的知识、卓越的精神能力和广泛的文化。克莱伦斯.丹诺说过:考虑到人们托之于律师的是一些严重的...
    露珠拾遗阅读 3,933评论 0 0
  • call嘿抬头阅读 1,638评论 0 2
  • 春天的呼伦贝尔雪原,风还会扬起雪花,苍茫空阔,没有了冬天的凛冽,极目望去,是灰白色的忧伤… 想着远方的春天,走在下...
    冰河之冰阅读 1,891评论 0 0