1.安装scrapy框架

# pip install scrapy 直接安装即可

如果出错可以尝试先安装lxml： pip install lxml(已安装请忽略)
# 安装pyOpenSSL: pip install pyopenssl
# 安装Twisted : pip install twisted (如果安装失败，去官网下载wheel文件即可)
# 安装pyWin32： pip install pywin32

# 最后将scrapy所在目录配置到系统环境变量，

打开cmd，输入Scrapy出现以下则表示安装成功

scrapy.png

2.创建Scrapy项目

在项目目录下打开命令窗口

输入：scrapy startproject xxx(项目名)即可产生scrapy的目录结构

'''
|-xxx(项目名)

|-scrapy.cfg  # 配置文件
 
  |-__init__.py

  |-items.py   # 定义好你所需要爬取的字段

  |-middlewares.py    # 理解为高级配置，一般不需要进行更改，如需配置代理池，随即更换                          Agent等可在这里配置
 
  |-pipelines.py    # 异步事件驱动会将爬取的数据响应到管道，在这里实现数据的清洗，存储等

  |-settings.py  # 全局配置，可以理解为类似django等框架的Settings文件

  |-spiders   # 存放你的Spider文件，也就是你的爬虫文件

    |-__init__.py
'''

3.示例：

# spiders.py
import scrapy
from baidunews.items import BaidunewsItem
from scrapy.http import Request
import re
import time
# 编写爬虫文件
class N1Spider(scrapy.Spider):
    name = "n1"   # 理解为唯一标识该项目，需要用到其启动项目
    allowed_domains = ["baidu.com"]  # 需要爬取的域名
    # start_url为list，可存放多个url，遍历拿出即可
    start_urls = ['http://news.baidu.com/widget?            id=LocalHouseNews&ajax=json']
    allid=['LocalHouseNews', 'LocalNews']
    allurl=[]
    
    
# items.py
import scrapy

# 定义字段
class BaidunewsItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title=scrapy.Field()
    link=scrapy.Field()
    content=scrapy.Field()

# sesstings.py

# Obey robots.txt rules
ROBOTSTXT_OBEY = False   # 君子协议，尊不遵守看你自己


# piplines.py
# 在这里选择数据的处理方式，可以直接存储进数据库，下面示例以mongoDB作为演示
class BaidunewsPipeline(object):
    def process_item(self, item, spider):
        print(item["title"])  
        return item
   
# mongo存储示例
class CrawldataPipeline(object):

    def __init__(self):
        clients = pymongo.MongoClient('mongodb://')
        mydb = clients["库名"]
        self.mycol = mydb["集合名"] # Mongo中为集合，也就是表，有则连接，没有会自己创建一个集合

    def process_item(self, item, spider):
        data = dict(item)
        title = data.get('title')
        server = data.get('server')
        mongo_info = {
            "title": title,
            "server": server,
        }
        try:
            self.mycol.insert(mongo_info)
           tem   # 这里必须返回
        except Exception:
            pass
# ps：piplines管道可由多个，可设置优先级，在sesstings.py里面配置即可

4.一个爬虫项目就算完成了，但我们一般都会结合分布式，接下来描述的时Scrapy分布式的实现方式

ps：临时有事，会在后面补上