参考文章

https://github.com/alecxe/scrapy-fake-useragent
https://github.com/hellysmile/fake-useragent

一、创建Scrapy工程

 scrapy startproject 工程名

二、进入工程目录，根据爬虫模板生成爬虫文件

 scrapy genspider  example example.com # 查看可用模板

三、定义爬取关注的数据（items.py文件）

四、编写爬虫文件

五、设置用户代理

步骤1:pip install fake-useragent
步骤2：在settings.py中配置下载中间件

#========================================
"""
配置下载中间件的连接信息
"""
DOWNLOADER_MIDDLEWARES = {
  
     'amazon.middlewares.MyUserAgentMiddleware': 543,
 }
#============================================

在middlewares.py文件中编写一个middleware中间件，

from fake_useragent import UserAgent
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class MyUserAgentMiddleware(UserAgentMiddleware):
     def __init__(self, user_agent=''):
         self.user_agent = user_agent

     def process_request(self, request, spider): 
         ua = UserAgent()