第一个爬虫——配置MongoDM数据库及运行爬虫

准备材料:python3.7 、MongoDB window版本4.4、studio-3t-x64、微博爬虫源码  

参考视频:https://www.bilibili.com/video/BV1Y64y1u7JN


1.下载及安装MongoDB

1.1下载:https://www.mongodb.com/try/download/community

MongoDB社区版下载界面

1.2安装

1.2.1安装教程

官方安装教程:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/

图文安装教程:https://www.cnblogs.com/minily/p/9431609.html

1.2.2注意事项

安装过程还是比较简单的,有两个点稍微提醒一下。

a.如果你的安装路径是在C:\Program Files下的,在cmd(命令提示符)中输入路径的时候会存在空格,系统识别的时候可能会只识别到C:\Program,那么在引用绝对路径的时候需要加双引号即"C:\Program Files"\,所以为了方便起见可以将文件安装在单独的目录中。如C:\MongoDB

b.在安装的时候不要选择安装mongoDB compass ,因为安装这个会比较影响安装时间,我同学安装了一个多小时。

1.3配置

其实有点困惑,我看网上下载的一些教程,教程中的安装后的目录中并无data文件,或者里面是空文件,我按照教程新建db文件后,总是显示NETWORK shut down :going to close listening,查了网上的资料,说是因为异常关闭导致lock文件未删除,但是我重新安装甚至在别人的电脑上安装出现相同的问题。我后来删除了一整个data文件夹再重新新建就好了。

2.下载并安装studio-3t

下载地址:https://studio3t.com/download/#windows

这个下载下来就是一个可执行文件不细述

2.1 配置

一般直接点默认就好(默认端口27017)

connect->save


studio-3t配置

3.下载爬虫源码

下载地址:https://github.com/nghuyong/WeiboSpider

这个代码有两个分支,我选择的是sample。解压之后用pychram打开(当然也可以用cmd命令直接打开)

输入如下代码

cd  C:\Users\AIR\Desktop\WeiboSpider\weibospider #将路径换为爬虫代码所在的文件夹

python run_spider.py user  #运行代码,这里带py文件后跟着user相当于调用user.py文件  mode= sys.argv[1]


run_spider.py user


运行结果
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容