使用redis作为缓存存储爬取下来的关注用户列表，使用redis set集合还有一个好处是可以自动去重。
我打算用五个集合，分别是waiting_set(等待爬取)、success_info(信息爬取成功)、failed_info(信息爬取失败)、success_list(关注列表爬取成功)、failed_list(关注列表爬取失败)、
首先需要用python连接redis(连接前需将redis服务开启)
import redis
r = redis.Redis('localhost','6379','db0')
然后可以使用r.sadd('key','value')将urlToken添加到set集合中
使用s.spop('key')可以从集合中随机取出一个urlToken，爬取其用户信息，如果成功将其放入success_info集合，将用户信息存入mongdb数据库，否则放入failed_info
使用另外一个进程爬取其关注者列表，如果成功放入success_list集合否则放入failed_list集合。
注意：
redis默认开启保护模式，连接redis 时只能通过本地localhost (127.0.0.1）这个来链接，而不能用网络ip(192.168..)这个链接，如果用网络ip 链接会报以下错误。
"DENIED Redis is running in protected mode"
解决方法如下：
修改配置文件 redis.conf。
1. 打开配置文件把下面对应的注释掉
# bind 127.0.0.1
2. 关闭保护模式
protected-mode no
3. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程，设置为no
daemonize no
然后使用配置文件启动redis即可成功远程访问
$ redis-server redis.conf
参考文章: python操纵redis set集合
