四、Scrapy框架– 实战– 古诗文网爬虫实战（1）
settings.py中设置ROBOTSTXT_OBEY = False，
DEFAULT_REQUEST_HEADERS添加请求头。
在gsww_spider中设置初始url：start_urls = ['https://gushiwen.org/default_1.aspx']
gsww_spider示例代码
import scrapy
from lxml import etree
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import Selector
class GswwSpiderSpider(scrapy.Spider):
name = 'gsww_spider'
allowed_domains = ['gushiwen.org']
start_urls = ['https://gushiwen.org/default_1.aspx']
def myprint(self,value):
print("="*30)
print(value)
print("="*30)
def parse(self, response):
# self.myprint(type(response))
gsw_divs =response.xpath("//div[@class='left']/div[@class='sons']")
print(type(gsw_divs))
for gsw_div in gsw_divs:
self.myprint(type(gsw_div))
上一篇文章 第六章 Scrapy框架（三） 2020-03-05 地址：
https://www.jianshu.com/p/5c752e9f3f61
下一篇文章 第六章 Scrapy框架（五） 2020-03-07 地址：
https://www.jianshu.com/p/cd1f301999c5
以上资料内容来源网络，仅供学习交流，侵删请私信我，谢谢。
