from scrapy.exceptions import DropItem
class DaboPipeline(object):
def __init__(self,file_path):
self.file_path = file_path
self.f = None
@classmethod
def from_crawler(cls, crawler):
"""
初始化时候，用于创建pipeline对象
:param crawler:
:return:
"""
# val = crawler.settings.getint('MMMM')
file_path = crawler.settings.get('FILE_PATH')
return cls(file_path)
def process_item(self, item, spider):
"""
:param item:
:param spider:
:return:
"""
# 3.打开
# f = open('news.log', mode='a+')
# f.write(item.url,item.content)
# f.close()
if spider.name == "renjian":
self.f.write(item['url']+'\n')
# return item
#如果不想下一个pipelines接收参数直接抛错
raise DropItem()
def open_spider(self, spider):
"""
爬虫开始执行时，调用
:param spider:
:return:
"""
self.f = open(self.file_path,'a+')
def close_spider(self, spider):
"""
爬虫关闭时，被调用
:param spider:
:return:
"""
self.f.close()
pipelines内置方法
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 1.forEach —— 遍历 forEach遍历数组，对原来的数据操作，改变原数组 函数声明： forEach方...
- Encode String To Bytes，将字符串（Unicode）编码为字节码(Bytes)。 注意：err...
- join()——将数组中的所有元素转化为字符串并连接在一起，返回最后生成的字符串。不修改原始数组 reverse(...
