package com.jianmu.tools.log;
import com.alibaba.fastjson.JSON;
import com.google.common.base.Charsets;
import com.google.common.base.Splitter;
import com.google.common.collect.HashMultiset;
import com.google.common.collect.Multiset;
import com.google.common.io.Files;
import java.io.File;
import java.io.IOException;
import java.util.*;
import java.util.stream.Collectors;
public class NginxLogTools {
public static final String LINUX_NGINX_ACCESS_LOG = "/var/log/nginx/access.log";
public static final String LINUX_NGINX_ERROR_LOG = "/var/log/nginx/error.log";
private NginxLogTools() {
}
public static List<String> reads(File file) {
try {
return Files.readLines(file, Charsets.UTF_8);
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
/**
* 获取所有ip
*/
public static List<String> allIps(File file) {
List<String> list = reads(file);
assert list != null;
return list.parallelStream().map(i -> Splitter.on(" - - ").split(i).iterator().next()).collect(Collectors.toList());
}
/**
* 获取所有匹配的ip
*/
public static List<String> allMatchIp(File file, String match) {
List<String> list = reads(file);
assert list != null;
return list.parallelStream().filter(i -> i.contains(match)).map(i -> Splitter.on(" - - ").split(i).iterator().next()).collect(Collectors.toList());
}
/**
* 获取所有匹配的ip 并且去重
*/
public static List<String> allMatchIpAndDistinct(File file, String match) {
List<String> list = reads(file);
assert list != null;
return list.parallelStream().filter(i -> i.contains(match)).map(i -> Splitter.on(" - - ").split(i).iterator().next()).distinct().collect(Collectors.toList());
}
/**
* 统计ip重复出现的次数 并排序
*/
public static Map<String, Integer> repeatCount(List<String> ips) {
Multiset<String> multiset = HashMultiset.create();
multiset.addAll(ips);
Map<String, Integer> map = new HashMap<>(ips.size());
Set<String> letters = multiset.elementSet();
letters.forEach(i -> map.put(i, multiset.count(i)));
return map.entrySet().stream().sorted(Map.Entry.comparingByValue()).collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue, (e1, e2) -> e2, LinkedHashMap::new));
}
public static void main(String[] args) {
Map<String, Integer> map = repeatCount(allMatchIp(new File("C:\\Users\\kong\\Desktop\\backup\\access.log"), "/webapp"));
System.out.println(JSON.toJSONString(map));
}
}
nginx log 分析 java 获取所有ip 统计ip访问次数
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- #/bin/bash #日志文件,可以根据需要改成你自己的路径 logfile=/www/wwwlogs/ #取出...
- 问题分析: Step 1. 首先将这天访问百度的IP从log中读取出来,并写入到一个大文件中,这个过程可以通过程序...