Request库

;p

Requests库的7个主要方法

1.

 1.get方法

        r=requests.get(url)

          Response/ Request

Response对象的属性

通用代码框架

def  getHtmlText(url):

       try:

             r=requests.get(url,timeout=30)

             r.raise_for_status()

             r.encoding=r.apparent_encoding

             returnr.text

        except:

             return""

HTTP协议

    Hypertext transfer protocol  基于请求与响应、无状态

网络爬虫的尺寸

Robots协议

网络爬虫排除标准/建议遵守

——>判断User-Agent进行限制