大数据||日志文件数据存储、收集、预处理和分析

项目实战之四日志文件数据存储、收集、预处理和分析

日志文件：
每天的文件安装【日期】存放在对应的文件夹中
一天之内只产生一个文件，以每天零点为准

收集数据

&&程序
    put hdfs
* flume
* shell 脚本

处理数据

&& 预处理
    * mr
    * hive 
&& 处理 需要对结果集，进行处理，数据格式（json,导入到RDBMS）
    * mr
        * 时间格式
            2015-09-12T17:23:45
    * hive

展示数据

报表
Jfreechar