golang 并发--goroutine(四)

golang 语言最大的特点之一就是语法上支持并发,通过简单的语法很容易就能创建一个 go 程,这就使得 golang 天生适合写高并发的程序。这一章节我们就主要介绍 go 程,但是要想完全理解 go 程我们需要深入研究 GPM 模型,关于 GPM 模型网上已经有很多资料了,这里就不过多介绍了,有兴趣的同学可以请教度娘,这一章节还是主要关注应用层面,主要强调在我们写程序时一下需要注意的点并且给出一些代码示例方便我们理解。

通常来说有三种方式实现并发:进程(process),线程(thread),协程(coroutine),前两个:进程和线程是操作系统实现的,协程是由编程语言来实现的,不同语言实现协程的方式不一样,在叫法上也会有一些区别,例如协程在 java 中就叫协程,python 中叫绿色线程(green thread),golang 中叫 go 程(goroutine,因为本文主要是讲解 golang,后续统一用 “go” 程行文)。

进程,线程,go程,是在三个不同粒度实现的并发:

  • 进程

    操作系统实现,拥有独立的内存空间(变量不共享),有进程号数量的限制,由操作系统调度。

  • 线程

    注意这里有两种概念的线程:操作系统线程;CPU 线程。操作系统线程由操作系统实现,是 CPU 执行的最小单元(一核 CPU 同一时刻只能执行一个线程,40 核 CPU 同一时刻能执行 40 个线程),其位于进程之下,一个进程可以有多个线程,但是一个线程只能属于一个进程,多个线程共享进程的内存空间,在操作变量时要考虑安全问题(要加锁防止两个线程同时修改一个变量),线程数受最大线程号限制,由操作系统调度。

  • go 程(协程)

    golang 语言实现,没有数量限制,go程直接共享内存空间,需要考虑并发安全问题,go程的调度时 golang 来完成的,但是同一时刻 CPU 能执行的go程数受线程数限制。

go 程的支持是 golang 的核心优势之一,golang 在语法上支持 go 程(其他语言大都通过第三方现),正是因为有了 go 程,所以 golang 天生适合高并发场景,下面来看一个最简单的 go 程的例子:

package main

import (
    "fmt"
    "time"
)

func main() {
    go func() {
        fmt.Println("Hello, I am a goroutine.")
    }()
    fmt.Println("Hello, I am the main goroutine.")
    time.Sleep(1 * time.Millisecond)
}

输出:

Hello, I am the main goroutine.
Hello, I am a goroutine.

上面代码最后有个 time.Sleep,这是为了防止主 go 程提前退出,大家可以自己测试把 time.Sleep(1 * time.Millisecond) 注释掉,看看输出结果有什么变化。

另外,从上面代码中我们也可以看出 go 程的另外一个与进程,线程不同的地方,go 程的创建没有返回(创建进程和线程在创建成功后会返回进程号或线程号),这也就意味着 golang 程序父 go 程没有方法去操作其子 go 程(完全没有方法也是不对的,通过 golang 的 channel 和 context 可以间接的实现,这个在后续章节再详细讲解)。

GOMAXPROCS

GOMAXPROCS 是 golang 并发种很重要的一个参数,正确的设置这个值对 go 程序的执行效率有很大的影响。要想理解 GOMAXPROCS 我们首先需要搞懂 GPM 模型,这里我只是简单介绍一下(详细的还是要请教度娘):G 表示的就是 goroutine(go 程);P 表示 processer,这是 golang 抽象处理的一个概念,用于调度 goroutine,每个 processer 都有一个 goroutine 队列,队列中的 goroutine 会顺序执行,如果正在执行的 go 程阻塞,processer 会调度后面的 go 程执行;M 表示操作系统线程,processer 最终会把goroutine 交给 M 来执行(但是注意:P 和 M 并不是一一对应的,当 M 因为 IO 发送阻塞时 P 会寻找其他的 M 处理 goroutine,如果没有空闲 M 则创建一个)。GOMAXPROCS 设置的就是 P 的最大数量,他表示同一时刻的 CPU 运行最大 goroutine 数,这个值默认等于 CPU 线程数(通过 lscpu 命令可查)。

设置 GOMAXPROCS 的方法

  • 通过环境变量
export GOMAXPROCS=8

然后通过下面代码验证:

package main

import (
  "fmt"
  "runtime"
)

func main() {
  fmt.Printf("GOMAXPROCS=%d\n", runtime.GOMAXPROCS(0))
}

输出结果:

GOMAXPROCS=8
  • 通过代码设置
package main

import (
  "fmt"
  "runtime"
)

func main() {
  runtime.GOMAXPROCS(10)
  fmt.Printf("GOMAXPROCS=%d\n", runtime.GOMAXPROCS(0))
}

输出结果:

GOMAXPROCS=10

注意:这里设置和获取 GOMAXPROCS 使用的都是 runtime.GOMAXPROCS 函数,这个函数参数大于 0 时用于设置 GOMAXPROCS,小于等于 0 时用于获取当前的 GOMAXPROCS。

该如何决定 GOMAXPROCS 的大小

我们知道了 GOMAXPROCS 的设置方法,那么到达设为多少合适呢?这要分为两种情况考虑:

  • 程序运行在物理机上;

    这种情况我们需要考虑两种情形:1、程序是 CPU 密集型(又叫计算密接型)的,GOMAXPROCS 采用默认值(等于物理 CPU 的线程数)就行,如果 GOMAXPROCS 设置过大那么势必会导致多个 P 共用一个 CPU 线程,这样就会因为频繁的调度切换浪费 CPU;2、IO 密集型,这种程序的特点:go 程经常会因为 IO 操作被阻塞,如果 GOMAXPROCS 采用默认值会导致大量 CPU 因为等待 IO 而处于空闲状态,这时候我们就可以设置 GOMAXPROCS 大于 CPU 线程数,根据 IO 操作的密集程度甚至可以远大于 CPU 线程数。

    注意:上面设置的方法都是为了 go 程序充分的使用整个物理机的能力,但是如何如果服务器还需要运行其他服务,并且也需要消耗大量 CPU,这时候我们就需要考虑把 GOMAXPROCS 设置的小一些,防止程序突发占用了整个物理机的 CPU.

  • 程序运行在容器里面,并且容器设置了 resouce limit;

    这种情况我们可以采用 uber 提供的 automaxprocs:https://github.com/uber-go/automaxprocs 由程序自动设置。但是对于第三方程序(没有使用 automaxprocs),我们只能通过环境变量的方式来设置 GOMAXPROCS,但是具体设置为多少,这就只能根据具体容器的 resouce limit 是如何设置的来决定了。

总结:这一章节主要介绍了 GOMAXPROCS,也介绍了该如何设置 GOMAXPROCS,但是上面的场景远远不能覆盖现实情况,生产环境种 GOMAXPROCS 的大小需要综合考虑多种情况。希望这篇文档给大家理解 goroutine 带来一些帮助,如果后续遇到 go 程序性能不理想时可以考 GOMAXPROCS 设置的是否合适。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,039评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,426评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,417评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,868评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,892评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,692评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,416评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,326评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,782评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,957评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,102评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,790评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,442评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,996评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,113评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,332评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,044评论 2 355

推荐阅读更多精彩内容