爬虫子从0开始(二)

需要爬虫用到的相关软件都下好了，下面我们开始爬虫，我们首先要先创建一个项目scrapy框架已经给出了命令行创建项目和创建spider，直接上代码,我们在桌面创建一个项目
我的scrapy装到MyPython环境了 先切换到python的环境

$source activate MyPython

执行下段代码

$scrapy startproject myproject #(项目名称)
WX20170901-111105@2x.png

创建好的项目结构是这样的


WX20170901-111336@2x.png

按提示我们来创建一个spider
spider我的理解就是爬取一个网页并解析爬取下来的数据都在spider这个类里面处理,直接上图

1D0B68B6-134F-4201-8237-41536546E9B1.png

创建完spider之后spider文件夹会多出来一个类

WX20170901-111723@2x.png

接下来用Pycharm打开myproject项目

WX20170901-113123@2x.png

先打开settings类配置一下MyprojectPipeline 路径
今天先更新到这

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容