最近在公司用python写了几个工具,感觉用起来还很方便,想着用python来试试一直想玩的爬虫。
环境搭建:
基于macos+vscode的(win下应该更方便,mac方便携带回老家还能玩玩)。
安装brew: /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装python3: brew install python3
修改mac默认python版本:
打开 sudo nano ~/.bash_profile 添加 alias python="/usr/local/bin/python3.7"
source ~/.bash_profile
vscode设置,搜索pythonpath变更地址为python3.x
安装Requests:
git clone git://github.com/kennethreitz/requests.git下载源码,在根目录下pip3 install .
抓取页面:
Get:html = request.get("https://xxxx")
print(html.text)
post: response = request.post(url, data)
data的数据通过浏览器的开发者工具查看post需要提交的数据进行组合。
返回的是一个json格式的数据,通过相关的json的库进行操作。