爬虫小分队的终极大任务就是简书大数据，以前也做过一次，阅读量也还可以。前段时间简书也是融资成功，简书也有一些改动，这次做分析也是一个不错的机会。

专题URL

这部分是没有变得，因为简书没有用户管理的url，我们只能从专题URL入手，依旧是热门和城市。

专题管理员URL

这部分就是新的思路，之前是爬取专题文章的作者，然后爬取作者的粉丝，这部分做完爬取对象。这次是先爬取专题管理员URL作为第一层用户，这部分是异步加载的，还有就是首页的和其他的专题在异步加载的url有所不同（这个大家找包的时候就知道了）。

粉丝和关注URL

我们可以这样想，基本上管理员的粉丝都会很多，这部分大多像我们一样，吃瓜群众；还有同行间的话，就是关注用户，这样双向传递，可以爬取大部分用户（还是有一些用户爬不到）。

优点和缺点

这种方法比爬取文章会快很多，重复的数据也会少很多（因为用户会投多篇文章）。缺点就是可能数据会不全。