2017.11.6项目环境搭建

项目名称:
用爬虫抓取豆瓣8分以上的电影名单

项目技术:
python+mySql+Flask+爬虫框架Scrapy

开始日期:
2017.11.6

最终效果:
能爬去数据并存储在本地硬盘,通过web展示出来,远端可以访问,最好适配于响应式。

所需知识:
python基础
爬虫框架Scrapy

今天完成了开发环境的搭建,安装了Anaconda + pyCharm
安装Anaconda后可以方便的管理虚拟环境,管理配套的python库文件。
注意这里使用清华的库镜像:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

然后再安装scrapy爬虫框架

conda install scrapy

再pycharm中设置虚拟环境,
setting > project > project interpreter中选择anaconda3的虚拟环境

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容