人肉爬虫以及由此引发出的问题

写了什么

今天用Pycharm编写了一个针对本地html文件,爬取其中的图片地址,并将地址内容写入本地文件,爬得图片的一个小例子。主要涉及到的知识:

  • 正则表达式的知识
  • (.*?)的内容匹配原理
  • 通过先大后小原则来进行解析

遇到了一个问题

其中在倒入requests包的时候我提示没有安装的错误。我决定采取pip来进行安装。pip是一个python的包管理工具。我的安装过程是这样的:

  • easy_install pip

之后执行 pip install requests的时候,提示我已经满足了。看路径是之前安装的Enthought Canopy的包路径。

原因猜测

Mac本身由Python但只是一个运行环境。在安装Unthought Canopy的过程中队python路径进行了转换。但后续安装的Pycharm的包依赖路径仍旧是默认路径,导致了引入和查找不一样的现象出现。

发散

作为解释型语言来说,一个手写项目用到的引入模块可能并不多,如果都是在同一个路径下下载所有的依赖包并且import可能会使这个路径下内容变得很多而且难以管理。其中遇到了这样一种方式:

virtualenv不仅仅是能解决各个项目对python版本不统一的问题,更重要的是,能把各个不同项目自己需要的模块,都装到一个单独的目录。
我每个项目都建一个virtualenv,并且把这个virtualenv的目录直接建立在项目目录下。

具体如何使用和此次遇到问题的原因和解决方法,之后解决后补充说明。

今天是圣诞节,大家平安。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,563评论 6 427
  • 译者按:原文写于2011年末,虽然文中关于Python 3的一些说法可以说已经不成立了,但是作为一篇面向从其他语言...
    EarlGrey阅读 69,712评论 7 124
  • GitHub 上有一个 Awesome - XXX 系列的资源整理,资源非常丰富,涉及面非常广。awesome-p...
    若与阅读 18,743评论 4 418
  • 环境管理管理Python版本和环境的工具。p–非常简单的交互式python版本管理工具。pyenv–简单的Pyth...
    MrHamster阅读 3,850评论 1 61
  • 确保你已经有了 python 和 pip在您进一步之前,请确保您有 Python,并且可从您的命令行中获得。 你可...
    yiangdea阅读 1,224评论 0 1