#!/bin/bash
# 日志文件存放的目录
log_src_dir=/root/input/logs/
# 待上传文件存放的目录
log_toupload_dir=/root/input/logs/toupload/
# 日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/20190211/
# 创建文件
hadoop fs -mkdir -p $hdfs_root_dir
# 读取日志文件的目录，判断是否有需要上传的文件
ls $log_src_dir | while read fileName
do
if [[ "$fileName" == access.* ]; then
date=`date +%Y_%m_%d_%H_%M_%S`
# 将文件移动到待上传目录并重命名
mv $log_src_dir$fileName $log_toupload_dir"xxxx_click_log_$fileName"$date
# 将待上传的文件path写入一个列表文件willDoing
echo $log_toupload_dir"xxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
fi
done
# 找到列表文件willDoing （罗列出所有文件，包含will的文件，不包含_COPY_，不包含_DONE_）
ls $log_toupload_dir | grep will | grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
# 打印信息
echo "toupload is in file:"$line
# 将待上传文件列表willDoing改名为willDoing_COPY_
mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
# 读列表文件willDoing_COPY_的内容（一个一个的待上传文件的名字），此处的line就是列表中的一个待上传文件的path
cat $log_toupload_dir$line"_COPY_" | while read line
do
hadoop fs -put $line $hdfs_root_dir
done
mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"
done自定义采集数据shell脚本
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
