将日志收集到aws的S3存储，通过aws ES实时分析日志、Spark离线日志分析，支持无线扩容。

一、日志收集

利用logstash output直接到S3存储， 在aws建立好bucket，配置好logstash config文件将日志打入到bucket即可。具体配置见logstash output S3
实例：

output {
s3 {       
access_key_id => "AKIAJEVY5ZME3Q"        
secret_access_key => "QtQiyCZVi06xl9n/2JYfJ1YL+mPWf9"
region => "ap-southeast-1"
bucket => "ott-log-storage"       
time_file => 5     
codec => "json_lines"  
}
}

上述会将日志切成5分钟一段。在aws控制台相应的S3 bucket里面就会看到日志信息。

二、实时分析日志

在aws 服务列表找到 ElasticSearch Service， 按照步骤创建ES实例，十分钟后，创建完成，会有对应的EndPoint信息和Kibana地址。
选择一台机器，最好是EC2, 按照logstash， 将相应S3 bucket 日志文件push到ES中，在Kibana地址配置好index通配字符串后，就可以看到该业务的日志列表。

input
{   
s3 {        
bucket => "ott-log-storage"        
access_key_id => "AKIAJEWJVZY5ZME3Q"        
secret_access_key => "QtQiyCZViPR06xl9n/2JYfJsarxY1YL+mPWf9"   region => "ap-southeast-1"    
}
}
 

filter
 {
json {        
source => "message"        
remove_field => ["hour", "day"]    
}
}

output{
elasticsearch {
hosts 
=> ["search-modeyangg-r6qoi2q3bwgmq.apsoutheast-1.es.amazonaws.com:443"]
ssl => true      
flush_size => 1000      
index => "%{type}_access-%{+YYYY.MM.dd}"       
idle_flush_time => 10    
}

}

上面是logstash config文件。

三、离线分析日志

在aws上创建spark的EMR服务，创建成功后，利用SSH登陆Master机器，运行pyspark， 即可测试spark集群。
spark支持从S3读取数据，利用EMRFS可供hadoop/spark集群使用， 利用Spark SQL就可像sql一样统计日志数据。

from pyspark.sql 
import SQLContext

sqlContext =SQLContext(sc)

df = sqlContext.read.json("s3n://<bucket>/<path>")

df.registerTempTable("ott_log_db")

ott_sql =sqlContext.sql(
"select sitegroup, count(sitegroup) as site_counts from ott_log_db group by sitegroup"
)

ott_sql.show()

具体用法参见Spark SQL