《PHP爬虫系列》- 01 使用CURL爬取SSE数据

最近在做股票的数据爬取工作，主要为日常行情指标的爬取，顺藤摸瓜找到了某知名网站的SSE推送服务API，准备通过CURL请求来获取。

简单说下，什么是SSE。

SSE （ Server-sent Events ）是 WebSocket 的一种轻量代替方案，使用 HTTP 协议。

简单说，所谓SSE，就是浏览器向服务器发送一个HTTP请求，然后服务器不断单向地向浏览器推送“信息”（message）。

# 这种信息在格式上很简单，就是“信息”加上前缀“data: ”，然后以“\n\n”结尾。
data: {"rc":0,"rt":5,"svr":183023112,"lt":1,"full":1,"data":{"total":1,"diff":{"0":{"f2":750,"f3":-260,"f4":-20,"f9":2342,"f12":"002298","f14":"中电兴发","f18":770,"f38":691505915.0,"f40":2055493850.68,"f40":2055493850.68,"f45":166056922.31}}}}

data: {"rc":0,"rt":2,"svr":183023112,"lt":1,"full":1,"data":null}

例如邮箱服务的新邮件提醒，微博的新消息推送、管理后台的一些操作实时同步等，SSE 都是不错的选择。

CURL如何操作SSE（核心）

$url = '';   // 填写SSE地址
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, function($ch, $data) {
      //...业务处理伪代码....
    return $strlen($data);   // 必须返回接收到的数据的长度。不然就会被断开连接
});
curl_exec($ch);    // 程序会停在这里。然后就开始一直调用上面你写的方法了。
curl_close($ch);

实际测试过程中，发现提取回调函数，能明显提供写入速度

  $obj = $this;
  $callback = function ($ch, $data) use ($obj) {
         //...业务处理伪代码....
        return strlen($data);
  };
  curl_setopt($ch, CURLOPT_WRITEFUNCTION, $callback);

这里有一个问题，如果我一直和我的服务器保持连接没问题。但是如果遇到断网或其他问题了怎么办？解决如下：

// 检查是否断联，每10秒发送一次心跳
curl_setopt($ch,CURLOPT_TCP_KEEPALIVE,1);   // 开启
curl_setopt($ch,CURLOPT_TCP_KEEPIDLE,10);   // 空闲10秒问一次
curl_setopt($ch,CURLOPT_TCP_KEEPINTVL,10);  // 每10秒问一次

这样curl就会定时自动去判断到底还在不在线。如果不在线了，已经断了，那么就会跳出curl_exec()。

CURL是网络抓取的利器，遇到问题可以用curl_error()打出错误来看看，下面是爬取到的股票行情数据。

5e00c8669740d030c372faf8    瑞丰高材    300243  23232.29万   7.42    902199155.74    57735101.53 22.39   7.6 -0.18   -2.37   1577109606
5e00c8669740d030c372faf9    云南城投    600239  160568.69万  2.87    4852152322.94   -1062885584.2   -3.25   2.97    -0.1    -3.37   1577109606
5e00c8669740d030c372fafa    凯恩股份    002012  46762.55万   5.33    848379514.6 38436033.03 48.63   5.18    0.15    2.9 1577109606
5e00c8669740d030c372fafb    永艺股份    603600  30254.36万   11.46   1771538078.65   143262400.45    18.15   11.92   -0.46   -3.86   1577109606
5e00c8669740d030c372fafc    金能科技    603113  67593.95万   10.37   6207670398.98   592818324.16    8.87    10.62   -0.25   -2.35   1577109606
5e00c8669740d030c372fafd    中珠医疗    600568  199286.97万  1.71    378578237.1 -28427601.73    -89.91  1.76    -0.05   -2.84   1577109606

参考文章：

https://www.cnblogs.com/goloving/p/9196066.html
https://www.cnblogs.com/goody9807/p/4257192.html

最后编辑于：2019.12.24 09:23:32