错误提示
Command "/Library/Frameworks/Python.framework/Versions/3.5/bin/python3 -u -c "import setuptools, tokenize;__file__='/private/var/folders/66/bxp594wj6_z32vq7lmjmsl0w0000gn/T/pip-build-pgy_8noy/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /var/folders/66/bxp594wj6_z32vq7lmjmsl0w0000gn/T/pip-3b058xt2-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/var/folders/66/bxp594wj6_z32vq7lmjmsl0w0000gn/T/pip-build-pgy_8noy/lxml/
解决方案
windows下：
1. 安装wheel，命令行运行：
pip install wheel
2.在这里下载对应的.whl文件，注意别改文件名！http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
3. 进入.whl所在的文件夹，执行命令即可完成安装
pip install 带后缀的完整文件名
mac下：
首先确认安装了xcode commond line tool 也就是xcode的命令行工具，因为编译lxml需要用到cc 等命令
所以先在命令行输入
xcode-select --install
安装完命令行工具
用pip来安装lxml
这时如果提示头文件未找到的话，用locate命令定位一下头文件的位置
locate xmlversion.h
初次使用locate命令会提示安装
sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.locate.plist
安装一下就好了
之后定位到了locate之后 设置一下环境变量
export C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/
那么在编译lxml的时候 就自动会到这个路径下搜索头文件
然后pip install 就可以啦
另外如果系统装了几个版本的xcode 那么打印看好xcode的路径
sudo xcode-select -p
如果想切换到另一个xcode路径下 可以考虑在bash.profile进行全局的设置
或者在终端设置变量
sudo xcode-select -switch /Applications/Xcode.app/Contents/Developer/
或者
export DEVELOPER_DIR="/Applications/Xcode.app/Contents/Developer
如果这些安装完了之后，最后引用Scrapy包得时候报错
请尝试删除
cd /Library/Python/2.7/site-packages/
sudo rm -rf six*
如果是Mac OSX 10.11 有可能会报错 因为mac系统多了sip 关闭sip就OK了
具体关闭方法请百度
Ubantu下：
1.sudo apt-get install libxml2-dev libxslt-dev python-dev
2.sudo pip3 install lxml
