直播网站爬虫

本人phper一名,从第一次接触php到现在一共也就不到一年的时间,别的需要也不会,鉴于工作的需要,看别人用python爬了一遍直播平台,感觉php应该也能实现,于是乎不停的寻找,终于让我找到了一些简便的方法,特此记录一下

项目地址
http://git.oschina.net/chenggx/onlive_spider

使用ThinkPHP3.2框架作为爬虫的框架,配合HtmlDomParser,QueryList获得html代码,并机械Dom元素。
其中 QueryList是我无意中发下的一个php扩展。(感觉很强大,可是不太会用,在dom解析的时候不知道是什么原因无法获取,后来就换成HtmlDomParser。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,269评论 25 708
  • 你爬了吗? 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网...
    Albert新荣阅读 2,246评论 0 8
  • 33款可用来抓数据的开源爬虫软件工具 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即...
    visiontry阅读 7,413评论 1 99
  • 老爸明天生日,可能因为侄女高三,课比较紧,明天估计要返校了,他们就提前给老爸过生日了,我本来计划回去的,可补习班临...
    尐燕峝學阅读 447评论 0 1
  • 公交、地铁不是一般的宽敞,一座难求成为笑谈。 道路也是异常空旷和顺畅。时而有的士或摩托呼啸而过,看得出是去团年的赶...
    若水Dewlight阅读 200评论 0 1