Scrapy相关

输出日志文件,Settings配置:

LOG_FILE = 'DEBUG_%s.txt' % (datetime.now().strftime('%Y%m%d_%H%M_%S'))

定时任务调度:

# -*- coding: utf-8 -*- 
# @Description  : 调度程序,每天执行一次

import os
import datetime
from apscheduler.schedulers.blocking import BlockingScheduler


def job_yingyongbao():
    print('Start job yingyongbao ', datetime.datetime.now())
    os.system('scrapy crawl yingyongbao_spider')


def job_wandoujia():
    print('Start job wandoujia ', datetime.datetime.now())
    os.system('scrapy crawl wandoujia_spider')


if __name__ == '__main__':
    scheduler = BlockingScheduler()

    job1_time = datetime.datetime.now() + datetime.timedelta(seconds=5)
    job2_time = job1_time + datetime.timedelta(seconds=10)
    scheduler.add_job(job_yingyongbao, 'interval', start_date=job1_time, hours=24)
    scheduler.add_job(job_wandoujia, 'interval', start_date=job2_time, hours=24)

    scheduler.start()

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Author:杜七 Date:2017.02.17 0 | 安装 Mac安装scrapy碰到问题解决方法 1 | ...
    杜七阅读 484评论 0 0
  • 示例:architecture_spider Scrapy 相关 参考scrapy文档,scrapyd文档 scr...
    顾慎为阅读 466评论 0 1
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,915评论 18 139
  • 学习资料 书籍: Python爬虫开发与项目实战该书作者博客:http://www.jianshu.com/u/c...
    石野小真人阅读 363评论 0 0
  • 今天是世界读书日,上儿童礼仪课程时,纪亚飞老师说,要让我们每人都养成一个好习惯,21天做到一件事。我写的是要每天阅...
    安静_205b阅读 1,267评论 0 0