教程一:Python爬虫学习系列教程
这个博主的这个爬虫学习系列教程,很详细啊,从入门到实战、进阶等都有详细的文档介绍,对爬虫感兴趣的小伙伴推荐一看。
教程二:学习网站上的爬虫教程
实验楼的爬虫教程不是太多,但是都有详细的讲解和代码,而且有在线开发环境,对于学习者是非常不错的。其中最喜欢的就是那个
,因为我自己超喜欢看电影。还有一个
也挺好的 ,算是福利吧,哈哈。
教程三:GitHub - facert/awesome-spider: 爬虫集合
这是一个收集各种爬虫 (默认爬虫语言为 python)的集合,其中还有蛮多爬虫蛮有趣的,而且每个爬虫都有详细的开源代码以及一些说明讲解,如果想写个爬虫的话,倒是可以参照写写。
教程四:Python爬虫入门教程
这个入门教程主要是简单的介绍如何使用Python的相关模块如urllib2来实现网络爬虫,和刚才介绍的第一个爬虫教程有点类似,不过没有第一个那么系统完善,但是新手也是可以看看的。
上面是教程,这里介绍一些爬虫软件,不想自己写爬虫的,可以用,较为方便。
1.Java开源Web爬虫分类列表
列表主要是一些开源的WEB爬虫,感兴趣的可以看看。
2.33款可用来抓数据的开源爬虫软件工具
这篇文章对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总。有需求的可以看看。
关于这方面,你也可以看看知乎上的这篇文章:GitHub 上有哪些优秀的 Java 爬虫项目?
-
说到这里,也可以看看知乎上关于爬虫的话题:
爬虫(计算机网络) - 索引 - 知乎,可以学到很多的。
爬虫可以做很多有用的事情,方便快捷,同时也可以做很多有趣的事情,分享几个有趣好玩的爬虫教程:
有趣的爬虫一:怎样借助Python爬虫给宝宝起个好名字
最近看到的一篇文章,深深觉得有个程序员爸爸是多门的方便啊,连取名字都可以这么自动化……
有趣的爬虫二:我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言
这是比较久以前的一篇文章了,也算是比较有趣吧,当时看到后就两个字“佩服”,学PHP的小伙伴可以看看哈。
- 说到有趣,推荐看看知乎上的这个问题:利用爬虫技术能做到哪些很酷很有趣很有用的事情?,发现广大知友果然超厉害的啊,很有趣。
其他:
Python爬虫:一些常用的爬虫技巧总结
前面介绍的主要是详细的爬虫教程,这篇文章呢,主要是总结一些常用的爬虫技巧的代码,如果经常涉及到写爬虫脚本,都可以直接拿去复用的,很方便。
当然,有爬虫,肯定就有反爬虫啦:
超轻量级反爬虫方案
文章列出的是一种简单的反爬虫方案,可以当做概念示例或者是救急方案,如果需要进一步深化,还需要在其他方面加强才行。
转载自知乎:林梓