redis读取mongo数据库的数据 -写给自己看爬虫系列6

前言

需求:要向redis存入mongodb中的数据
思路:利用redis和pymongo模块,读取mongo的数据后用lpush写入redis中。

脚本
import pymongo,redis
'''读取mongo数据'''
def read_data(c_n,d_n):
    client =pymongo.MongoClient('localhost',27017)
    db     =client[d_n]
    collection =db[c_n]
    data = collection.find()
    return data

'''写入数据到redis'''
def write_data(val):
    a = redis.Redis()
    a.lpush('myspider3:start_urls',val)

    return 'ok'
if __name__ == '__main__':
    aa =read_data(c_n='url_recheack',d_n='project_shenzhen')
    bb =[i['url'] for i in aa][:50]
    map(write_data,bb)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1.1 资料 ,最好的入门小册子,可以先于一切文档之前看,免费。 作者Antirez的博客,Antirez维护的R...
    JefferyLcm阅读 17,162评论 1 51
  • Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化...
    Evtion阅读 5,951评论 12 18
  • 转载地址:http://gnucto.blog.51cto.com/3391516/998509 Redis与Me...
    Ddaidai阅读 21,489评论 0 82
  • NOSQL类型简介键值对:会使用到一个哈希表,表中有一个特定的键和一个指针指向特定的数据,如redis,volde...
    MicoCube阅读 4,099评论 2 27
  • 早晨的电梯 拥挤的电梯 是不会到大家都等待的那一层的 --在最底层的人民是触碰不到机会的
    智吾不言阅读 62评论 0 0