关于爬虫开发的选择

开发语言:Python
爬虫框架:Scrapy
数据库:PostgreSQL

基于Scrapy爬虫框架,参考官方的教程,很容易写一个爬取淘宝页面的爬虫,但要完善成一个成熟的爬虫却不是一件容易的事情。我这边使用的开发系统是Ubuntu12.10,期间遇到了一些问题,如果有兴趣去尝试,可以参考我博客的“网络爬虫”部分。

引用一下jolie_yu对我的一句回复:

骚年,别急,缘分说到就到。显出你的个性,她会找到方向,走进你的世界。

对于志同道合的朋友不是靠去培养的,而是你们原本就属于同一路人,有共同的兴趣和想法,在机缘巧合的情况下你们走到了一起。为何迟迟没有聚到一起呢?或许是我们散发的光芒还不足以照亮他们寻找到我们,所以我们还需要做得更多、更好。

更应该到一些专业的论坛发表我的想法,不太适合在QQ空间发表这些,我也清楚地明白这一点,但我看重它的强社交属性,我们了解彼此更多一些,这些花费是时间成本。至今没有一点共鸣,但我还是会静静地等待,直到那些人的出现,不需要太多,哪怕只有那么一个。

且行,且看,且等待,世间不变的是一个人的初心!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容