HyperLedgerFabric日志系统改造(源码改造)

目前fabric的日志系统是将所有的日志输出定向到stderr,这在生产环境中显然是不可以接受的,日志持久化成了一个亟待解决的问题。

本篇文章将从源码入手,改造fabric的日志系统,实现日志的持久化、日志自动切割等功能。

源码修改

环境准备

  1. 获取源码
go get github.com/hyperledger/fabric
  1. 切换到 1.4.4版本(这里我本地已经搭建了1.4.4版本的fabric链,为了方便测试,选择1.4.4版本的源码进行修改)
git checkout v1.4.4

修改源码

  1. 要支持日志自动切割、自动清理,需要用到一个日志切割框架https://github.com/lestrrat-go/file-rotatelogs

  2. fabric的日志模块在common/flogging下

  3. 经过摸索,问题定位到common/flogging/logging.go文件的Apply函数,

func (s *Logging) Apply(c Config) error {
  err := s.SetFormat(c.Format)
    if err != nil {
        return err
    }

    if c.LogSpec == "" {
        c.LogSpec = os.Getenv("FABRIC_LOGGING_SPEC")
    }
    if c.LogSpec == "" {
        c.LogSpec = defaultLevel.String()
    }

    err = s.LoggerLevels.ActivateSpec(c.LogSpec)
    if err != nil {
        return err
    }
    
  // 这行代码一定执行
    if c.Writer == nil {
        c.Writer = os.Stderr
    }
  s.SetWriter(c.Writer)
    var formatter logging.Formatter
    switch s.Encoding() {
    case JSON, LOGFMT:
        formatter = SetFormat(defaultFormat)
    default:
        formatter = SetFormat(c.Format)
    }
    InitBackend(formatter, c.Writer)
    return nil
}

这个函数接收Config对象,而在common/flogging包的初始化方法中,Config仅仅只是毫无内容对象,所以c.Writer最终指向了os.Stderr。

func init() {
    logging, err := New(Config{})
    if err != nil {
        panic(err)
    }

    Global = logging
    logger = Global.Logger("flogging")
    grpcLogger := Global.ZapLogger("grpc")
    grpclog.SetLogger(NewGRPCLogger(grpcLogger))
}

4.可以修改c.Writer使它指向文件输出,这里使用环境变量控制日志的持久化以及持久化的路径,完整代码如下

func (s *Logging) Apply(c Config) error {
    err := s.SetFormat(c.Format)
    if err != nil {
        return err
    }

    if c.LogSpec == "" {
        c.LogSpec = os.Getenv("FABRIC_LOGGING_SPEC")
    }
    if c.LogSpec == "" {
        c.LogSpec = defaultLevel.String()
    }

    err = s.LoggerLevels.ActivateSpec(c.LogSpec)
    if err != nil {
        return err
    }

    if c.Writer == nil {
        c.Writer = os.Stderr
    }
  // 如果开启了持久化,则持久化到文件,并且使用rotatelogs来管理日志
    if enable,err:=strconv.ParseBool(os.Getenv("FABRIC_LOG_PERSISTENCE"));err==nil&&enable{
        filePath:=os.Getenv("FABRIC_LOG_PERSISTENCE_PATH")
        if filePath == ""{
      // 持久化路径未配置的情况下,使用默认路径
            filePath = "/var/log/hyperledger/fabric/logs"
        }
        fileName := path.Join(filePath,"log")
        logWriter, err := rotatelogs.New(fileName + ".%Y%m%d.log",
            rotatelogs.WithLinkName(fileName),// 软链接
            rotatelogs.WithMaxAge(7*24*time.Hour), //日志保留7天
            rotatelogs.WithRotationTime(24*time.Hour))// 每天切割一次
        if err!=nil{
            panic("build logWriter failed")
        }
        c.Writer = logWriter
    }
    s.SetWriter(c.Writer)
    var formatter logging.Formatter
    switch s.Encoding() {
    case JSON, LOGFMT:
        formatter = SetFormat(defaultFormat)
    default:
        formatter = SetFormat(c.Format)
    }
    InitBackend(formatter, c.Writer)
    return nil
}

构建镜像

官方已经写好了所有镜像制作过程,在根目录下执行即可(建议在linux下执行)

make all

执行完后即可以看到制作好的镜像:

image-20200422192629784

可以想办法将镜像保存下来,通过docker save 或者将它推到镜像仓库。

运行测试

这里只需注意设置好环境变量即可

FABRIC_LOG_PERSISTENCE=true
FABRIC_LOG_PERSISTENCE_PATH=/var/run/hyperlerdger/fabric/peer/logs
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容

  • 简介 此项目是一个模拟公民身份信息链的区块链项目 github 地址: https://github.com/ak...
    CrazyWolf_46a9阅读 8,743评论 0 0
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 3,833评论 0 5
  • 安装fabric 1.4版本 刚开始接触区块链,跟着网上的教程搭建hyperledger fabric ,下载的是...
    花爬满篱笆阅读 1,649评论 3 0
  • 那一句誓约 尘封在遥遥的记忆里 再不曾 提起 尘封的过去 尘封的迷局 厚厚的 尘封在不为人知的心底 徒留 回忆 不...
    因为爱所以执着阅读 232评论 0 1
  • 你不要让我难过了,你现在就是我活下去的信念 我怕你跟我在一起了,你又没有那么爱我的话委屈了你,还是不能让你每天都很...
    初心归来阅读 350评论 0 0