开个错误集锦贴

开个错误集锦贴,来记录代码中的错误,不论大小,提个醒:

1、run.sh 内容,要记得最后都有个反斜线

$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH_1 \
    -output $OUTPUT_PATH \
#这个后边的参数都有双引号
    -mapper "python map.py mapper_func WH.gz" \
    -reducer "python red.py reducer_func" \
    -jobconf "mapred.job.name=map_output_compress_demo" \
#是mapred.reduce.tasks 不是red、reducer、task、
    -jobconf "mapred.reduce.tasks=2" \
#是mapred.compress.map.output
    -jobconf "mapred.compress.map.output=true" \
#只有这个等号前边是compression  
    -jobconf "mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \
#是mapred.output.compress
    -jobconf "mapred.output.compress=true" \
    -jobconf "mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \
    -file "./map.py" \
    -file "./red.py"

2、map和red函数,要理解思想,按思想敲,而不是背代码,切记:背代码不是最终结果

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容