实现抓取HTTPS握手时证书的客户端

前言

由于一些很神奇的原因,我们需要用PHP实现从指定的IP获取HTTPS握手时的证书信息,其实在实现这个客户端之前有两种可行的方法。

大概是脸黑的原因吧,这两种方法在这里放弃了,由于我们的线上服务器的CURL的版本过低,导致第一种方法无法实现,而直接升级的风险不可控,所以第一种方案就下马了。而第二种方案需要在线上服务器开启PHP的exec等危险函数,所以第二种方案也夭折了。最终只能自己动手实现PHP获取证书的轮子了,顺便填补下这方面的空白。

获取HTTPS通信握手信息

此处需要获取HTTPS握手的信息,才能模拟握手请求获取证书。当然这里可以去阅读RFC获取详细的HTTPS握手协议,为了节省时间,这里使用网卡抓包神器WireShark来获取HTTPS握手信息。

WireShark准备就绪之后,使用CURL命令直接获取证书,看看这几个包的交互到底发生了什么。具体抓包结果此处下载

大体抓包结果

这张图可以看到一共互相交互了11个包,大致的交互过程以及原理可以阅读使用wireshark分析https

我们详细来看Client Hello包具体干了什么。

Client Hello

此包首先生成随机数,大概是以供之后的DH算法生成对称秘钥,并且将自己支持的加密算法、需要访问的域名等信息发送给Server端。

为了实现可以自由获取任何域名的证书,我们将ww1.sinaimg.cn替换成其他的域名,并且将包的长度进行了适当的更改,以供解包不会发生错误。发现这样简单的更改域名确实是可以抓到不同域名的证书。

接下来我们继续分析……

Server Hello Done

上图显示Server端在接收Client Hello之后联系发送了4个包,而这4个包竟然需要拼在一起才能看到全貌。这4个包一共发送了一下4个信息:

  • Server Hello
  • Certificate
  • Server Key Exchange
  • Server Hello Done

以上4个信息只有Certificate信息才是最重要的,而按照HTTPS交互的报文头可以分辨出某一段中对应的是哪种信息。

分信息包图示

获取了HTTPS握手信息,紧接着就是使用代码落地实现获取证书了。

代码实现

实现TCP/IP客户端

首先引入眼帘的是PHP自带的socket,尽管经常听说被吐槽,但是毕竟是PHP的亲儿子,不试一试怎么行?

网上找PHPsocket代码一找一大堆,而且也是可用的。但是放在生产环境,这些函数都是被禁用的,开起来比较繁琐。紧接着我想用另外的线程或者进程来控制socket的通信时长,因为在TCP建连之后,无法控制客户端send以及recv的时长,但是开启PHP多线程和多进程异常麻烦,完全不推荐使用。接着就是使用大名鼎鼎的Swoole插件了。

chua!chua!chua!之后,一个SwooleTCPsocket客户端就搭建好了。

搭建Swoole

由于Swoole是只能在Linux/Mac下使用的,那么Windows电脑如何使用Swoole

当然是使用Docker呀,Docker真是个好东西,无论什么环境都可以超级快速的搭建,只要装上Docker就可以快速搭建任何复杂的环境并且编排出一个完整的工程,并且可以在本机上起多个项目。你敢相信部署一个项目,仅仅需要一个docker-compose.yml文件就可以搞定吗?这软件简直太棒了!

本项目使用了PHP7.2+Swoole4.3.1具体的Dockerfile此处,当然我更推荐你到Docker hub直接拉取我的镜像。

PhpStorm更是对Docker非常支持,这里可以指定PHP的解释器为Dockerfile中的。

phpstorm中配置Docker中的php

操作完成后,只要在PhpStorm中运行PHP就是Dockerfile中装了SwoolePHP

autoload自动引入程序

PHP在运行的时候使用了一个新的类,会使用自动加载机制引入PHP文件,但是这个自动加载机制一般需要人为设置如何引入,详见spl_autoload_register

这个小问题竟然困扰了我特别长的时间,因为一开始我写了spl_autoload_register程序,但是只能对本PHP文件生效,一旦跨到了别的PHP文件就无法进行自动引入。参考之前写的TinyPHP发现一般都是用的静态函数,而这样就可以保证其他地方可以调用成功,而最后的写法在CertCaptureTest.php中,这样就可以变成谁使用,就用谁的spl_autoload_register

实现解析TCP包的方式

WireShark分析可知,每个包的请求内容是树状结构,所以做了个类似树状结构的类来对节点进行解析,解析类在这里,程序在获取包TCP包的时候会解码包的内容并指向到不同的节点进行解析,而最终的证书节点在此处

Swoole中的协程

由于像监听的这种程序,容易发生超时的情况,所以需要另一个进程或者线程来进行处理定时,一旦发生超时,立马终止程序。而在Swoole中可以使用一种类似Go语言中的协程的东西,简单的来说,他可以一个用户线程中自动切换任务,比如说我开一个协程进行一个监听超时的死循环的任务,而另一个任务时作为客户端获取服务器的证书内容,当其中任意一个任务阻塞,程序可以全自动的切换到另一个任务。而作为我程序的一部分,一旦获取证书的客户端发生阻塞,一直在监听服务端发来的数据,此时协程会切换到一个超时检测的循环中,一旦发现超时了,则立刻终止程序。具体的超时检测和客户端放在Swoole-Cert-Capture/CertCapture.php:39

另外值得注意的是,Swoole的官方文档真的太晦涩了,并且界面和搜索功能不是特别友好,可能这就是不好推广的原因吧,虽然听说程序写的很牛逼,但是希望开源软件对开发者友好些,这样也易于传播。希望以后的我也能写出如此牛逼的程序。-_-||

swoole| swoole 协程初体验

添加Composer

这是我第一个真正的可以使用的PHP开源项目,当然希望能正规一点哈哈哈,为了这个竟然还上了MIT开源协议这样做的目的是搞的好像真的有人来用样的哈哈哈。

打包成Composer前提是你装上Composer程序,之后只需要在项目所在的路径输入以下命令,然后跟着指示填写即可生成Composer包。

composer init

既然你想传到Packagist上,你的项目总要是开源的放在github吧,随即可以在Packagist提交页面填入项目地址,即可在[Packagist]生成对应的代码包。你们可以进入我的Packagist项目,顺便点个关注打赏订阅哈哈哈。

Packagist

添加简单的CI/CD构建

这个步骤也是有些坎坷,我准备放到另一篇文章,欢迎关注。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,992评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,212评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,535评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,197评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,310评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,383评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,409评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,191评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,621评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,910评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,084评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,763评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,403评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,083评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,318评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,946评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,967评论 2 351

推荐阅读更多精彩内容