分段處理大型列表檔案內容

############################################################
# Define Initial value 
############################################################

RAW_FILE=raw.o
ALL_FILE=all.o
PROCESS_FILE=up.o
STAGE_FILE=stage.o

PROCESS_COUNT=999

############################################################
# Check if need resume previous abort
############################################################
ALL_RC=$(cat ${ALL_FILE} | wc -l )
if [ ${ALL_RC} -ne 0  ] ; then
echo "
############################################################
# WARING: restore ${RAW_FILE} from ${ALL_FILE}
# SOP: 
# mv  ${ALL_FILE} ${RAW_FILE} 
# re-run $0
############################################################
"
ls -la  ${RAW_FILE} ${STAGE_FILE}
exit
fi


############################################################
# Main 
############################################################

cp ${RAW_FILE} ${ALL_FILE}
TOTAL_ROW=$(cat  ${ALL_FILE} | wc -l)
LOOP_COUNT=$(( (${TOTAL_ROW}/${PROCESS_COUNT})+1 ))

NN=0
while [ ${NN} -ne ${LOOP_COUNT} ] ; do
echo "=== ${NN} ==="
head -${PROCESS_COUNT} ${ALL_FILE} > ${PROCESS_FILE}
cp  ${PROCESS_FILE}  ${RAW_FILE}
head -1  ${RAW_FILE}
tail -1 ${RAW_FILE}

diff  ${PROCESS_FILE} ${ALL_FILE} | grep '>'  | sed "s/> //g" > ${STAGE_FILE}
cp  ${STAGE_FILE}  ${ALL_FILE}
NN=$((${NN}+1))
done

############################################################
# Clean tmp file
############################################################

cat /dev/null > ${PROCESS_FILE}
cat /dev/null > ${STAGE_FILE}
cat /dev/null > ${RAW_FILE}