协程库基础知识

这篇文章主要介绍些汇编和函数调用栈的变化过程以及x86-64体系结构下各寄存器的作用,为后面两篇博客分析协程库(Libco/Pebble/Phxrpc)用到的技术点作些预习,但这边的协程非lua中的coroutine,虽然我工作中也用了一段时间的lua,看了些协程相关的API使用方法和原理,但没怎么使用过诸如coroutine.resume/coroutine.running/coroutine.yield等写过协程相关的底层东西,但是原理还是差不多,后面的开源库也主要是这几个api的介绍和使用。

一)协程和线程区别
线程一般用的比较多,有专门的POSIX API使用,在一些项目的基础库中很容易见到各种封装的代码,调度也不需要使用者去操心什么时候调度和运行,但是如果能高效的进行多线程编程,还是要熟悉一些体系结构和原理。

一般线程的创建数量不易过多,受限于cpu的核数,且调度/上下文切换需要内核参与,有一定的性能代价,一个线程切换出去再切回来,那么cache的数据都可能miss掉,不能充分利用局部性,伪共享等,导致性能稍微有些抖动。
而协程虽然也要来回切换,但由用户去控制,且要保存的数据不多,后面会根据源码分析出有哪些。然后创建的协程可以非常多,只受限于内存。

然后对于一个需要等待的事件比如io,如果使用线程,比如使用epoll等网络模型,那么就会短暂的阻塞在epoll上,而对于协程,可以在发生等待事件时,这个协程让出cpu,然后让另一协程运行,所以非常高效,让cpu充分利用,另外协程是非抢占式,需要用户自己释放cpu切换到其他协程。

对于线程来说,如果是单进程多线程,那么可以并行执行在多核上,而对于协程,因为如果也是单进程单线程,那么只有一个在执行,但可以fork多进程,如果在单进程多线程中实现协程,可能会比较复杂,Phxrpc中有类似的实现。

二)Lua协程原语说明
简单介绍Lua中的几个api来说明作用是什么,会类比libco中的类似api。
引用“coroutine.create(f):创建一个新的协程,协程体中的内容是f,f必须是一个Lua函数。该函数返回这个新创建的类型为thread的协程。
coroutine.resume(co [, val1, …]):当首次resume一个协程的时候,便开始运行这个协程中的函数f,参数val1, … 传递给函数f作为f的参数。当协程挂起(yield)过,再次resume这个协程的时候,参数val1, … 作为yield的返回结果;如果协程运行过程中没有发生错误,那么resume返回true以及yield传递过来的值(当协程挂起时),或者从函数f返回的任何值(当协程终止时)。如果协程运行过程中发生错误,那么返回false以及错误信息。
coroutine.yield(…):将正在执行的线程挂起(暂停)。yield的任何参数将传递给resume,作为resume额外的返回结果。”

三)x86-64各寄存器的用途
引用“X86-64有16个64位寄存器,分别是:
%rax,%rbx,%rcx,%rdx,%esi,%edi,%rbp,%rsp,%r8,%r9,%r10,
%r11,%r12,%r13,%r14,%r15。
其中:
%rax 作为函数返回值使用;%rsp 栈指针寄存器,指向栈顶;%rdi,%rsi,%rdx,%rcx,%r8,%r9 用作函数参数,依次对应第1参数,第2参数。。。
%rbx,%rbp,%r12,%r13,%14,%15 用作数据存储,遵循被调用者使用规则,简单说就是随便用,调用子函数之前要备份它,以防他被修改;
%r10,%r11 用作数据存储,遵循调用者使用规则,简单说就是使用之前要先保存原值。”

rsp和esp,rbp和ebp的作用相同,一个是栈顶指针,一个是帧指针。

四)函数调用栈的变化
这部分是从网上/和书上收集的资料,这部分不难理解,如果不考虑安全类的问题比如栈溢出等。


图一

举个32位中的情况,调用者需要入栈调用参数,从右往左,然后是调用函数的下一条指令地址和ebp,然后进入被调用的函数,开始分配局部变量,其中esp是动态变化的,ebp是不变的,取变量的值是根据ebp加上偏移量来进行的。
比如引用参考资料中某个链接的例子:

int bar(int c,int d)  
{  
 8048394:   55                      push   %ebp  
 8048395:   89 e5                   mov    %esp,%ebp  
 8048397:   83 ec 10                sub    $0x10,%esp 

在call bar函数时,已经把返回bar下一条指令入栈了,是隐含执行的,然后修改eip,跳转到bar执行,然后压ebp,通过esp-0x10分配栈空间;

return e;  
 80483a6:   8b 45 fc                mov    -0x4(%ebp),%eax  
}  
 80483a9:   c9                      leave    
 80483aa:   c3                      ret 

返回时,leave操作过程是bar的相反操作,把ebp值赋给esp,然后弹出上一个帧的ebp,此时esp指向的是返回地址,剩下的操作是ret,和call相反,把返回地址给eip,这些过程esp值都会有变化,以上是要介绍的基本知识。

五)Hook技术
具体怎么hook的原理就不在这里详细分析了,有兴趣自己在网上搜一下相关的资料,这里主要是介绍如何hook一些linux系统库函数,主要是为后面协程分析作些说明。
比如

void *malloc(size_t size) {
    static void *(*my_malloc(size_t ) = NULL;
    if (! my_malloc) {
        my_malloc = dlsym(RTLD_NEXT, "malloc");
    }
    return my_malloc(size);
}

The dlsym() function takes two parameters: the first is a handle returned by dlopen(). Here, we must use RTLD_NEXT for function interposition.
This tells the dynamic linker to find the next reference to the specified function, not the one that is calling dlsym(). The second parameter is the symbol name (malloc, in this case), as a character string. dlsym() returns the address of the symbol specified as the second parameter.

比如Libco中hook read系统调用:

330 ssize_t read( int fd, void *buf, size_t nbyte )
331 {
332     HOOK_SYS_FUNC( read );
333 
334     if( !co_is_enable_sys_hook() )
335     {
336         return g_sys_read_func( fd,buf,nbyte );
337     }
338     rpchook_t *lp = get_by_fd( fd );
339 
340     if( !lp || ( O_NONBLOCK & lp->user_flag ) )
341     {
342         ssize_t ret = g_sys_read_func( fd,buf,nbyte );
343         return ret;
344     }
345     int timeout = ( lp->read_timeout.tv_sec * 1000 )
346                 + ( lp->read_timeout.tv_usec / 1000 );
347 
348     struct pollfd pf = { 0 };
349     pf.fd = fd;
350     pf.events = ( POLLIN | POLLERR | POLLHUP );
351 
352     int pollret = poll( &pf,1,timeout );
353 
354     ssize_t readret = g_sys_read_func( fd,(char*)buf ,nbyte );
355 
356     if( readret < 0 )
357     {
358         co_log_err("CO_ERR: read fd %d ret %ld errno %d poll ret %d timeout %d",
359                     fd,readret,errno,pollret,timeout);
360     }
361 
362     return readret;
363 
364 }

对于fd,如果设置了非阻塞,那么直接read,否则加入epoll中等待可read事件,并切出协程(在poll中执行co_yield_env),如果有read事件发生了则切回来,执行代码354行read。

参考资料:
《深入理解计算机系统》
https://segmentfault.com/a/1190000013177055
https://blog.csdn.net/lqt641/article/details/73002566
http://opensourceforu.com/2011/08/lets-hook-a-library-function/
https://www.cnblogs.com/zrtqsk/p/4374360.html
https://www.zhihu.com/question/20511233
https://blog.csdn.net/corfox_liu/article/details/51024729
https://segmentfault.com/a/1190000012561446
https://blog.csdn.net/wangyezi19930928/article/details/16921927
http://www.it165.net/os/html/201407/8847.html
https://linux.die.net/man/3/dlsym

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容