爬虫就是从网络上发现你想要数据的工具。
大互联网公司
我原来在互联网公司,觉得获取数据so easy。只要你需要,好像各种数据都有,数据多到必须把一些不是很重要的的数据按期老化掉,不重要的数据不接受。
传统行业和小公司
离开大互联网公司后,接触的公司也比较多了,原来很多公司都没有数据,但是还是想搞大数据。我原来也是不理解,你没数据搞啥大数据吗?这不是让马儿跑,还不给马儿草么。
但是,现在我不这样想了。在大数据的热潮下,大家都怕错过这个风口,所以必须参加进来;再大数据对传统行业的改变,大家也有目共睹,比如uber对打车的改变,余额宝对金融的改变等。所以我们需要想办法获取数据,而不是没有数据我们就不搞大数据了。
数据来源
一方面,使自己的产品互联网化,数据可以积累起来,但是路程漫长。
另一方面,从互联网中获取数据。但是互联网中的数据又不开放,那么爬虫就派上用场了,而且还可以快速获取数据。
专题主要内容
- 爬虫技术交流
- 数据分享