爬虫应该算是数据挖掘的第一步，也是分析数据的基础，更是得出结论的基石。爬虫大到一个团队在维护，小到毕业论文。Python应该算是大家非常喜欢的爬虫语言（理由不用多说都知道的）...
发简信
IP属地：西藏
-
Scrapy 自定义settings--简化编写爬虫操作--加快爬虫速度 -
Python分布式动态页面爬虫研究Selenium的Webdriver爬取动态网页效果虽然不错，但效率方面并不如人意。最近一直研究如何提高动态页面爬虫的效率，方法无非高并发和分布式两种。过程中有很多收获，也踩...
-
盘点selenium phantomJS使用的坑
说到python爬虫，刚开始主要用urllib库，虽然接口比较繁琐，但也能实现基本功能。等见识了requests库的威力后，便放弃urllib库，并且也不打算回去了。但对一些...
-
没有建立这种思维，学再多都是白费1 最近一直在思考一个问题，为什么看了那么多书，听了那么多课，进步却很小呢？ 去年参加了很多分享课，每周末至少有一天在外面参加活动。但参加了那么多课，我的收获有多少呢? 参加...
-
基于PySpider的weibo.cn爬虫作为科研狗，新浪微博一生黑。一开始打算花钱买他们的商业API，结果跟我说不跟科研机构合作，我也是日了狗了。后来费尽千辛万苦写了个爬虫，差点没把我小号封了手动再见.gif本来写...
-
漫谈Pyspider网络爬虫的实践
感觉很久没有写点东西了，因为最近太忙（外因）或是自身太懒（内因）的原因。总之，很早之前，我就开始规划着写点关于网络爬虫方面的文章，介绍性质的，但更重要的是，计算机以及信息科学...
