日志统计系统.png

日志三个模块.png

分别实现下面的三个模块(-)读取

    //----------第一步读取你的日志返回值点开看看就知道了-----------------------
    f, err := os.Open(r.Path)
    if err != nil {
        //--------没有读取到panic喽-------------
        panic(err)
    }
    //----------如果读取到了---------------
    rea := bufio.NewReader(f)
    //------循环读取,不然读取一行就over----------------
    for {
        //----------一行一行读取,这句话的意思是见到\n就是换行标识符,就会over 注意单引号,''byte (个人理解)---------------------
        body, err := rea.ReadBytes('\n')
        if err == io.EOF {
            //--------如果读取完了这个文件没有东西了,我们等待一下,continue---------------------
            time.Sleep(1 * time.Second)
            continue
        } else if err != nil {
            panic(err)
        }
        //-----------这句话的意思是去掉换行符,不然每次都有一个\n输出----------------
        rc <- string(body[:len(body)-1])
    }

}

读取完了,写入和解析只解析一次,最简单的写个for 或者range一下你的读取的chan 有东西再解析,写入(这里我就直接for了)

//-----------使用者第二步写入日志----------------
func (w *WriteLogs) Write(wc chan string) {
    for {
        fmt.Println(<-wc)
    }

}

//-----------使用者第三步解析日志----------------
func (l *LogStatistics) Analysis() {
    for {
        l.wc <- strings.ToUpper(<-l.rc)
    }

}

解析就很简单了,将你从xx.log里面读取到的数据 通过正则匹配 传送给写入模块,我懒得写了,给个思路,下面贴上一段爬取boss的代码,这段代码里面 <-l.rc就是读取的文件数据

可以讲将爬去的数据都写入到一个结构体,然后将结构体直接写入到l.wc,需要将你结构体的类型改成（比如结构体是msg chan 的类型就是*msg）原谅我的懒

package parse

import (
    "city/engine"
    "regexp"
)

const cityList = `<a ka=".+" href="(/.+/)">([^>]*)</a>`

func ParseCityList(contents []byte) engine.ParseResult {
    re := regexp.MustCompile(cityList)
    match := re.FindAllSubmatch(contents, -1)
    request := engine.ParseResult{}
    for _, m := range match {
        request.Items = append(request.Items, string(m[2])) //job
        request.Requests = append(request.Requests, engine.Request{
            Url:       string(m[1]),     //url
            ParseFunc: engine.Nilparser, //
        })
        //fmt.Printf("job:%s ,URL:https://www.zhipin.com%s\n", m[2], m[1])
    }
    return request
}