这个篇幅呢我们打算用Go做一个实战的项目,我们选择的是一个分布式的网络爬虫但是这个只是一个比较小型的爬虫,我们要爬的是一个相亲网站,希望你学完这个项目呢!可以自己在爬取其他的网站比如房子,车子了!!!!这个项目架构并不是很完备后期可能也需要大家不断的迭代升级,这个就像打游戏吧!慢慢的你就越来越强了。。。。
最近爬虫越来越火这也得益于数据与AI时代的到来,我们必须要有大量的数据,才能更准确的分析数据趋向,得到更加准确的结果。
那么我们数据从哪里来的呢?一部分是我自己有的,另一部分就是靠我们的爬虫了。。。。。
那么爬虫有哪些分类呢?
通用爬虫:如baidu, google
聚焦爬虫: 从互联网获取结构化的数据
我会给大家从0搭建一个爬虫项目,当然你也可以用一些爬虫的库,或者框架,这里我们就不用了。
最终我会给大家搭一个前端,并且用到es搜索docker等相关技术栈,可以说是彩蛋多多呀!!!
关于项目的代码,希望大家可以一起努力,不断的更新!!!!!!!
我可以这么说,如果你把这个项目从头跟下来吃透,那么你的Go语言能力就已经还不错了。加油!!!!
建议:我发布的时候是按照顺序进行发布的,小伙伴们跟着目录顺序走就可以了。。。。。大约有50节,每节都有干货,坚持学完相信你会进步很多。。。。。