swoole入门abc

1. 入门abc

1.1 github账号添加

  • 第一步依然是配置git用户名和邮箱
git config user.name "用户名"
git config user.email "邮箱"
  • 生成ssh key时同时指定保存的文件名
ssh-keygen -t rsa -f ~/.ssh/id_rsa.github -C "email"
  • 新增并配置config文件

    touch ~/.ssh/config

在config文件里添加如下内容(User表示你的用户名)

Host *.github.com
IdentityFile ~/.ssh/id_rsa.github
User test
  • 上传key到github
  pbcopy < ~/.ssh/id_rsa.github.pub
  eval "$(ssh-agent -s)"
  ssh-add ~/.ssh/id_rsa.github
git remote add origin git@github.com:zhuanxuhit/laravel-doc.git
git push -u origin master

1.2 case:Rate Limit

Rate Limit

以rate limit为例来使用swoole开发。

1.2.1 最简单的隔离算法

思想很简单,计算相邻两次请求之间的间隔,当速率大于Rate的时候,就拒绝请求。

技能分析:

  1. swoole的swoole_http_server功能,监听端口,等待客户端请求
  2. 注册回调,当请求到来的时候,处理请求

代码示例:

<?php namespace Swoole\Rate;

class Simple {

    protected $http;

    protected $lastTime;

    protected $rate = 0.1;
    /**
     * Simple constructor.
     *
     * @param $port
     */
    public function __construct($port)
    {
        $this->http = new \swoole_http_server('0.0.0.0',$port);
        $this->http->on('request',array($this,'onRequest'));
    }

    public function onRequest( \swoole_http_request $request, \swoole_http_response $response )
    {
        $lastTime = $this->lastTime;
        $currentTime = microtime(true);

        if(($currentTime-$lastTime)<1/$this->rate){
           // deny
        }
        else {
            $this->lastTime = $currentTime;
            // access
        }
    }

    public function start()
    {
        $this->http->start();
    }
}

$simple = new Simple(9090);
$simple->start();

分析上面的代码,我们发现会有什么问题?如果两个请求同时进来,都读到了lastTime,没有被拒绝,但是这两个请求本身是已经请求过快了。

这个疑问产生的原因是对于swoole的网络处理模型不是很清晰,如果请求是串行处理的,那不会有什么问题?但是如果请求是并发处理,那多个请求可能读到的是同一个时间戳,导致瞬间并发很大,出现问题。

首先来解决第一个问题:swoole是什么

swoole 是一个网络通信框架,首要解决的问题是什么?通信问题,之后就是高性能这个话题了,高性能主要从3个方面考虑

高性能

1) I/O调度模型:同步阻塞I/O(BIO)还是非阻塞I/O(NIO)。

2) 序列化框架的选择:文本协议、二进制协议或压缩二进制协议。

3) 线程调度模型:串行调度还是并行调度,锁竞争还是无锁化算法。

swoole在IO模型上是使用异步阻塞IO实现,调度模型则是采用Reactor,简单说就是有一个线程专门负责IO操作,当关心事件发生的时候,进行回调函数处理,具体分析见下一章。

通过修改代码,使用ab test工具,我能够简单的模拟上面的讨论到的并发问题:

public function onRequest( \swoole_http_request $request, \swoole_http_response $response )
    {
        $lastTime = $this->lastTime;
        $currentTime = microtime(true);
        $pid =($this->http->worker_pid);
        if(($currentTime-$lastTime)<1/$this->rate){
            
            echo "deny worker_pid: $pid lastTime:$lastTime currentTime:$currentTime\n";
        }
        else {
            $this->lastTime = $currentTime;
           
            echo "accept worker_pid: $pid lastTime:$lastTime currentTime:$currentTime\n";
        }
    }

测试脚本

ab -n10 -c5 http://0.0.0.0:9090/

测试结果:

accept worker_pid: 45674 lastTime: currentTime:1463470993.3306
accept worker_pid: 45675 lastTime: currentTime:1463470993.331
accept worker_pid: 45671 lastTime: currentTime:1463470993.3318
accept worker_pid: 45672 lastTime: currentTime:1463470993.3322
accept worker_pid: 45673 lastTime: currentTime:1463470993.333
deny worker_pid: 45674 lastTime:1463470993.3306 currentTime:1463470993.3344
deny worker_pid: 45673 lastTime:1463470993.333 currentTime:1463470993.3348
deny worker_pid: 45675 lastTime:1463470993.331 currentTime:1463470993.3351
deny worker_pid: 45671 lastTime:1463470993.3318 currentTime:1463470993.3352
deny worker_pid: 45672 lastTime:1463470993.3322 currentTime:1463470993.3354

可以很显然的看到,并发请求来的时候,读到的lastTime都是未设置过的

模拟出并发问题后,这个关于swoole中有进程模型也很好测试出来:

public function serverInfoDebug()
    {
        return json_encode(
            [
                'master_id' => $this->http->master_pid,//返回当前服务器主进程的PID。
                'manager_pid' => $this->http->manager_pid,//返回当前服务器管理进程的PID。
                'worker_id' => $this->http->worker_id,//得到当前Worker进程的编号,包括Task进程
                'worker_pid' => $this->http->worker_pid,//得到当前Worker进程的操作系统进程ID。与posix_getpid()的返回值相同。
            ]
        );
    }

启动成功后会创建worker_num+2个进程。主进程+Manager进程+worker_num个Worker进程。

完整地址:
https://github.com/zhuanxuhit/php-recipes/blob/master/app/SwooleAbc/Rate/Simple.php

那回到上面的问题,怎么解决并发问题呢?在C++等语言中,很好解决这个问题,使用锁,互斥访问。

写到这的时候,发现个问题,发现在回调中,每个worker在处理onRequest函数的时候,this都是一个新的,为什么呢?因为worker进程都是由Manager进程fork()出来的,自然数据是新的一份了。

现在要解决的问题变为:如何在swoole中实现多个进程的数据共享功能

可以看到https://github.com/swoole/swoole-src/issues/242
其中建议,可以通过使用swoole提供的swoole_table来做,代码如下:

  public function onRequest( \swoole_http_request $request, \swoole_http_response $response )
    {
        $currentTime = microtime(true);
        $pid =($this->http->worker_pid);
        $this->table->lock();
        $lastTime = $this->table->get( 'lastTime' );
        $lastTime = $lastTime['lastTime'];
        if(($currentTime-$lastTime)<1/$this->rate){
            $this->table->unlock();
            //deny
        }
        else {
            $this->table->set( 'lastTime', [ 'lastTime' => $currentTime] );
            $this->table->unlock();
            // access
        }
    }

再次测试,能够发现很好的满足了要求。

1.2.2 最清晰的吊桶算法

隔离算法的问题很明显,使用ab -n2 -c2 http://0.0.0.0:9090/,同时并发2个请求就被拒绝了,因此只计算了相邻两次的间隔,而没有关注1s内的请求,因此一个改进思路就是以s为key,记录时间戳下来。下面是实现

    public function onRequest( \swoole_http_request $request, \swoole_http_response $response )
    {
        $currentTime = time();
        $this->table->lock();
        $count = $this->table->get( (string)$currentTime );
//        (new Dumper)->dump($count);
        if($count){
            $count = $count['count'];
        }
        else {
            $count = 0;
        }

        if($count >$this->rate){
            $this->table->unlock();
            // deny
        }
        else {
            $this->table->set( (string)$currentTime, [ 'count' => $count + 1] );
            $this->table->unlock();
            //accept
        }
    }

由于每s的数据都记录了,没有过期,导致数据不断增长,有问题,而且由于1s是分割的,不是连续的,必然会造成最开始脑图中的bad case。

于是就有了下面的第三个方法:最精确的队列算法

1.2.3 最精确的队列算法

思路上就是将请求入队,记录请求的时间,这样就可以判断任意连续的多个请求,其是否是在1s之内了

首先看下这个算法思路:假设rate=5,当请求到来的时候,得到当前请求编号,然后减5得到index,然后判断两次请求之间的时间间隔,是否大于1s,如果大于则accept,否则deny

n-5 n-4 n-3 n-2 n-1 n n+1 n+2 n+3 n+4 n+5

现在来的请求是n,则去n-5,为什么是减5,因此rate是5,则当qps为6的时候就deny,因此需要判断n-5到n这6个请求的间隔!

算法有了,下面就是在swoole中怎么实现队列的问题了,这个队列还需要在进程间共享。

我们可以使用swoole_table来实现,另外还需要一个计数器,给每个请求编号,实现如下:

// 每个请求过来后的是否判断通过,这个操作必须要单点,串行,所以也就是说必须要加速
        $this->table->lock();
        $count = $this->counter->add(1);
        $bool = true;
        $currentCount = $count + 1;
        $previousCount = $count - $this->rate;
        if($currentCount<=$this->rate){
            $this->table->set( $count, [ 'timeStamp' => $currentTime ] );
            $this->table->unlock();
        }
        else {
            $previousTime = $this->table->get( $previousCount );
            if ( $currentTime - $previousTime['timeStamp'] > 1 ) {
                $this->table->set( $currentCount, [ 'timeStamp' => $currentTime ] );
                $this->table->unlock();
            } else {
                // 去除 deny
                $bool = false;
                $this->counter->sub( 1 );
                $this->table->unlock();
            }
        }

上面有一个核心点,之前一直没有注意到的:对所有请求的处理都是需要互斥的,即是一个单点,处理完后才能转发给真正的业务逻辑进行处理。

因此可以将Rate的逻辑抽离出来,作为一个服务提供,这个以后讲服务化的时候再做的。

1.2.4 最传统的令牌算法

令牌算法类似小米抢购,放量出来一定的票,当人想进来抢的时候,必须有F码才能进行抢购,而票的放出是按一定速率产生的。

上面算法实现时,需要用到swoole的定时器功能,需要在OnWorkerStart的回调的时候使用

public function onWorkerStart(\swoole_server $server, $worker_id)
    {
        if($worker_id ==0){
            $server->tick( 1000/$this->rate, [$this,'addTicket'] );
        }
    }

而请求到来的时候,就是通过getTicket获取资格,没票的时候,直接返回false

完整的github地址:
https://github.com/zhuanxuhit/php-recipes/tree/master/app/SwooleAbc/Rate
Rate limit的介绍:http://www.bittiger.io/classpage/hfjPKuZaLxPLyL5iN
gitbook地址:
https://zhuanxuhit.gitbooks.io/swoole-abc/content/chapter1.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 前文再续,就书接上一回,随着与Server、TCP、Protocol的邂逅,Swoole终于迎来了自己的故事,今天...
    蜗牛淋雨阅读 1,706评论 1 14
  • 在有了“自古套路留人心”一句话后,才详细研究了网上针对渣男的惯用套路,招招全中,无一例外。他会翻看你的朋友圈,和你...
    木子小姐阅读 275评论 0 0
  • 作者/凯勒漠 目录:《狼鬼:觉醒》目录 上一章:NO.8)尘封的记忆 血红色的四周,偶尔飘着血红色的“球”,上面是...
    初纪阅读 368评论 0 1
  • 你看到了吧,我就是这么胆小的一个小女孩,看见游乐设施就浑身颤抖,惧怕打针所以抵触所有的医院和医生,一只小虫就足以把...
    高冷的小小樱阅读 156评论 0 1