Linux安装Scrapy

linux: ubuntu16.04-64bit
python: 3.5.2

  1. 安装环境

    sudo apt-get install build-essential
    sudo apt-get install python3-dev
    sudo apt-get install libxml2-dev
    sudo apt-get install libxslt1-dev
    sudo apt-get install python3-setuptools
    
    sudo apt-get install libssl-dev
    apt-get install -y libffi-dev
    pip3 install Twisted
    pip3 install w3lib
    pip3 install lxm
    
  2. 安装Scrapy: [scrapy运行必备组件需要(OpenSSL, lxml(lxml一般默认有安装,可以import xml验证是否有安装))]
    sudo python3 -m pip install Scrapy

  3. 安装OpenSSL:
    sudo python3 -m pip install pyopenssl

  4. 重新安装python3版本的这两个软件:
    sudo apt-get install python3-dev
    sudo apt-get install python3-setuptools

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容