安装scrapyd

pip install scrapyd

• 遇到安装为题：
  • 如果遇到incremental未安装，则：
    • pip install incremental
  • 如果遇到libxml2和libxslt未安装，则:
    • apt-get install libxml2
    • apt-get install libxslt1-dev
    • pip install lxml
  • 如果遇到No module name attr，是twisted版本太高，目前在twisted=13.1.0上才能运行scrapyd:
    • pip uninstall twisted
    • pip install twisted==13.1.0

安装scrapyd-client

• pip install scrapyd-client

配置scrapyd

• 启动的时候默认是127.0.0.1:6800，会导致外网无法访问scrapyd服务，因此要修改scrapyd.conf的地址
• 如果用pip安装，则默认配置文件一般在/usr/local/lib/python2.7/dist-packages/scrapyd
  • vi default_scrapyd.conf
  • 把bind_address = 127.0.0.1修改为服务器地址，如10.66.80.158

启动scrapyd服务

• nohup scrapyd > /tmp/scrapyd.log 2>&1 &
• 2表示标准错误输出
• 1表示标准信息输出
• 2>&1表示把错误信息一起输入到标准输出

部署命令：

• scrapyd-deploy deployname -p projectname，根据scrapyd.cfg中的deploy信息部署，如：

  • scrapyd.cfg中信息如下：

    [deploy:hiktest]
    url = http://10.66.80.158:6800/
    project = tutorial
    

    ​

  • scrapyd-deploy hiktest -p tutorial