用scrapy抓取数据 实验报告

刘璨 2014年信息管理与信息系统  2014141093017

前言说明:

由于本人代码水平较弱,作业参考和询问了其他同学,若有不足的地方,请老师谅解。

实验报告正文

我们小组经过商量之后决定使用阿里云。

   用ssh连接云服务器

成功连接

进入虚拟坏境目录并激活

激活

相关文件配置,生成项目树结构,创建我的空间(lc_quote)

创建


在本地编写spider代码 这里我采用的是记事本 保持成py格式
加入py文件
执行文件
执行的结果 

上面显示的代码有误但还是形成了html文件


在目录中生成的html文件


形成的html文件

爬取json数据


本地编写spider文件 还是保持成py文件

(中间一段过程的截图忘记保持)步骤同上,将py文件拖到spiders文件夹下

执行scrapy crawl lc_quotes_spider -o slx_26666.json(26666是随意输入的)


最终形成的json文件







最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容