今日头条-街拍抓取-小笔记

urlencode()函数可用来构造URL的请求参数

from urllib.parse import urlencode
params = {
        'offset': offest,
        'format':'json',
        'keyword':'街拍',
        'autoload':'true',
        'count':'20',
        'cur_tab':'3',
        'from':'gallery',
    }
url = 'https://www.toutiao.com/search_content/?'+ urlencode(params)

md5(response.content).hexdigest() 获取MD5值

os模块

os.path.exists(path) //判断当前路径是否存在
os.mkdir(path) //创建目录

request

requests.ConnectionError  
//requests请求连接的错误