Go 并发编程:防止Goroutine泄露

防止Goroutine泄露

Goroutine开启后一般会一直执行到它终止,也有遇到不可恢复的错误(如协程内部错误或父协程退出)时被迫终止。如果没有一定的手段,父协程是没法控制子协程的,有没有什么方式让父协程控制或感知子协程的运行呢?答案是有的,一般有三种典型方式:

  • 使用done通道控制
  • 使用sync.WaitGroup同步组
  • 使用Context

一、使用done通道控制

创建一个监控通道done,使主协程知道其下的工作子协程的完成状态。

最简单的经典并发写法,使用一个监控通道done,工作协程完成具体任务,主协程只监视工作子协程的完成状况,为了最大化通道的吞吐量,通道的缓冲数等于子协程数。

func Demo11() {
    JobList := make([]Job, 0, 5)
    JobList = append(JobList, Job{"task1"}, Job{"task2"}, Job{"task3"}, Job{"task4"}, Job{"task5"})

    jobs := make(chan Job)
    done := make(chan bool, len(JobList))

    // 发送任务协程
    go func() {
        for _, job := range JobList {
            jobs <- job
        }
        // 发送完所有任务后关闭通道
        close(jobs)
    }()

    // 处理任务协程
    go func() {
        // 遍历通道直到管道被关闭
        for job := range jobs {
            fmt.Println("Doing ", job.task)
            done <- true
        }
    }()

    for i := 0; i < len(JobList); i++ {
        // 阻塞,等待接收任务完成的信号
        <-done
    }
    fmt.Println("All Task Done!")
}

使用done通道,我们可以在很大程度上防止协程泄露,即某些子协程失去控制以致未能正常关闭的情况。

二、使用sync.WaitGroup同步组

以上写法也能用等待组方式处理:
关于等待组的用法,我们已在《Go基础系列》的《Go并发编程(三): Go并发的传统同步机制》已经简述,这里再做一个示例

func Demo12() {
    JobList := make([]Job, 0, 5)
    JobList = append(JobList, Job{"task1"}, Job{"task2"}, Job{"task3"}, Job{"task4"}, Job{"task5"})
    jobs := make(chan Job)

    wg := sync.WaitGroup{}

    wg.Add(1)
    // 发送任务协程
    go func() {
        for _, job := range JobList {
            jobs <- job
        }
        // 发送完所有任务后关闭通道
        close(jobs)
        wg.Done()
    }()

    wg.Add(1)
    // 处理任务协程
    go func() {
        // 遍历通道直到通道被关闭
        for job := range jobs {
            fmt.Println("Doing ", job.task)
        }
        wg.Done()
    }()

    wg.Wait()
    fmt.Println("All Task Done!")
}

无论是done通道控制还是等待组,都是最常见的Go并发编程范式了。

三、Contenxt 上下文

关于Context,它类似与使用done通道防止协程泄露的方法,不过它的功能更加强大,它出现在Go标准库可见Go团队希望context成为默认的控制多协程的解决方案。我们已经在《Go进阶系列的》的《Go Context 上下文)已有介绍,这里再做一个演示:


func Demo13() {
    JobList := make([]Job, 0, 5)
    JobList = append(JobList, Job{"task1"}, Job{"task2"}, Job{"task3"}, Job{"task4"}, Job{"task5"})
    jobs := make(chan Job)
    var sendCount, doneCount int
    var err error
    // 两种方式关闭子协程:(1)超时(2)执行cancelFunc函数
    ctx, cancelFunc := context.WithTimeout(context.TODO(), 5*time.Second)
    defer func() {
        fmt.Printf("JobCount:%d,SendCount:%d,DoneCount:%d\n", len(JobList), sendCount, doneCount)
        cancelFunc()
    }()

    go func() {
        sendCount, err = sendJobs(ctx, jobs, JobList)
        if err != nil {
            fmt.Println("SendJobs Error:", err.Error(), ",SendCount:", sendCount)
        }
    }()

    go func() {
        doneCount, err = do(ctx, jobs)
        if err != nil {
            fmt.Println("DoneJobs Error:", err.Error(), ",DoneCount:", doneCount)
        }
    }()

    time.Sleep(time.Duration(len(JobList)) * time.Second)

}

// 发送任务
func sendJobs(ctx context.Context, jobs chan<- Job, jobList []Job) (int, error) {
    var sendCount int
    for _, job := range jobList {
        // 模拟耗时每秒添加一次任务
        time.Sleep(time.Second)
        select {
        case <-ctx.Done():
            return sendCount, ctx.Err()
        case jobs <- job:
            sendCount++
            fmt.Println("Send Job: ", job.task)
        }
    }
    // 发送完所有任务后关闭管道
    close(jobs)
    return sendCount, nil
}

// 处理任务
func do(ctx context.Context, jobs <-chan Job) (int, error) {
    var doneCount int
    // 遍历管道直到管道被关闭
    for {
        select {
        case <-ctx.Done():
            return doneCount, ctx.Err()
        case job, ok := <-jobs:
            if !ok {
                return doneCount, nil
            } else {
                doneCount++
                fmt.Println("Done Job: ", job.task)
            }
        }
    }
}

执行结果:

=== RUN   TestDemo13
Done Job:  task1
Send Job:  task1
Send Job:  task2
Done Job:  task2
Send Job:  task3
Done Job:  task3
Send Job:  task4
Done Job:  task4
DoneJobs Error: context deadline exceeded ,DoneCount: 4
JobCount:5,SendCount:0,DoneCount:4
--- PASS: TestDemo13 (5.00s)
PASS
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,546评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,224评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,911评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,737评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,753评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,598评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,338评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,249评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,696评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,888评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,013评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,731评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,348评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,929评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,048评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,203评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,960评论 2 355

推荐阅读更多精彩内容