数据采集之websocket

这里有一篇很好的解释websocket的网站供大家参考

https://segmentfault.com/a/1190000013149749

我自己在爬取有关websocket时的一些想法

1.一般情况下你要构造一个类,针对发送请求和接受数据都有相应的方法去做处理,所以说我们可以直接用websocket自带的一个方法类去封装我们的代码。

2。在浏览器页面通过开发者工具去找到ws的规律。(找不到的时候刷新一下页面就可以了)


图一

3.当我们在模拟websocket发送请求的时候,注意要根据浏览器对应的信息去更换红色边框的内容。


图二

4.我们整个的爬虫代码,除了我们根据websocket发送的message,找到对应的参数外,这个rid是关键,他的前10位是一个时间戳,我们可以通过找到他的规律去循环我们的代码,也可以通过这个时间戳,找到当浏览器发送这条message请求时,服务端返回的数据。


图四

5.在用websocket发送请求时,会遇到send报红,我当时也做了很多的处理,但依然会报红,我认为应该是有的rid并没有返回的数据才会导致这个结果,所以不用关代码,让他继续运行就好。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Spring Web MVC Spring Web MVC 是包含在 Spring 框架中的 Web 框架,建立于...
    Hsinwong阅读 22,763评论 1 92
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,107评论 19 139
  • 原文地址:http://www.ibm.com/developerworks/cn/java/j-lo-WebSo...
    敢梦敢当阅读 12,885评论 0 50
  • 读经典:《易经》《大学》 自强的生命之势 昨天看到了被铁架捆绑的大树,今天看到一种植物,这种植物,大家都不会陌生很...
    悦2017137阅读 1,724评论 2 2
  • 玉寒经霜节犹在,孤野留客意自闲。心中无尘人胜仙,浮华虚幻笑不言。
    党向阳阅读 1,634评论 0 0

友情链接更多精彩内容