第13课书面作业

1 安装sqoop,并且把Mysql中的表数据导出到HDFS下的文本文件里,整个过程抓图
2 安装flume或chukwa,并作简单测试

1、
(1)下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz,并解压
(2)修改sqoop配置文件

Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/usr/hadoop-2.7.2

Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=

set the path to where bin/hbase is available

export HBASE_HOME=/usr/hbase_123

Set the path to where bin/hive is available

export HIVE_HOME=/usr/hive

Set the path for where zookeper config dir is

export ZOOCFGDIR=/usr/zookeeper_349/conf
(3)运行sqoop
./bin/sqoop list-databases --connect jdbc:mysql://192.168.31.247:3306/ --username hive --password zaq1XSW@

1.png

(4)导入hdsf
./bin/sqoop import --connect jdbc:mysql://192.168.31.247:3306/sqoop --username hive --password zaq1XSW@ --table test -m 1

2.png
3.png

2、
(1)下载apache-flume-1.7.0-bin.tar.gz,并解压
(2)修改配置文件
flume-env.sh

Enviroment variables can be set here.

export JAVA_HOME=/usr/jdk1.8.0_101

Give Flume more memory and pre-allocate, enable remote monitoring via JMX

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

flume-conf

a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sources.r1.channels = c1
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1

(3)启动flume
./bin/flume-ng agent --conf ./conf/ --conf-file ./conf/flume-conf --name a1 -Dflume.root.logger=INFO,console

(4)输出消息

4.png
5.png
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 2,873评论 1赞 5
  • 面对以上的问题,我们如何将这些日志移动到hdfs集群上尼???? 第一种方案:使用shell脚本cp 文件,然后通...
    机灵鬼鬼阅读 1,576评论 1赞 1
  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 2,223评论 0赞 2
  • 时间,可以改变很多。从一个积极乐观的孩子,变成了一个自暴自弃的废材。从一个习惯于表达原作意愿的编辑,变成了一个变态...
    糖点什么阅读 479评论 0赞 0
  • 这个暑假,我刚开始就是去安徽旅游,一次美丽的安徽研学。在这之前,我是以一份期待的心情,来面对他的。板着自己愚笨的指...
    百合花小雨阅读 416评论 0赞 1

友情链接更多精彩内容