- Python自带标准库urllib
#urllib.parse 用于解析url
import urllib.parse
kw={'wd':'*'}
#编码
result=urllib.parse.urlencode(kw)
print(result)
#解码
res=urllib.parse.unquote(result)
print(res)
#urllib.request 用于打开和读取URL
import urllib.request
import urllib.parse
url='*'
headers={'User-Agent':'*'}
data={'username':'*','password':'*','action':'login'}
#1.发送请求
resp=urllib.request.urlopen(url,data=bytes(urllib.parse.urlencode(data),encoding='utf-8'))
html=resp.read().decode('gbk') #decode将bytes类型转成str类型
print(html)
#2.构建请求对象
req=urllib.request.Request(url,headers=headers)
#使用urlopen打开请求
resp=urllib.request.urlopen(req)
#从响应结果中读取数据
html=resp.read().decode('utf-8')
print(html)
#https://www.xicidaili.com/nn/ 用于免费代理IP
from urllib.request import build_opener
from urllib.request import ProxyHandler
proxy=ProxyHandler({'https':'*(IP地址):*(端口号)'})
opener=build_opener(proxy)
url='*'
resp=opener.open(url)
print(resp.read().decode('utf-8'))
#cookie 用于解决http的无状态性
import urllib.request
from http import cookiejar
filename='cookie.txt'
#获取cookie
def get_cookie():
cookie=cookiejar.MozillaCookieJar(filename) #实例化一个MozillaCookieJar 用于保存cookie
handler=urllib.request.HTTPCookieProcessor(cookie) #创建handler对象
opener=urllib.request.build_opener(handler) #创建opener对象
url='*'
resp=opener.open(url) #请求网址
cookie.save() #存储cookie文件
#读取cookie
def use_cookie():
cookie=cookiejar.MozillaCookieJar() #实例化MozillaCookieJar
cookie.load(filename) #加载cookie文件
print(cookie)
if __name__=='__main__':
get_cookie()
use_cookie()
#urllib.error.URLError 用于捕获由urllib.request产生的异常
import urllib.request
import urllib.error
url='*’
try
resp=urllib.request.urlopen(url)
except urllib.error.URLError as e
print(e.reason)
#urllib.error.HTTPError 用于处理HTTP与HTTPS请求的错误
import urllib.request
import urllib.error
url='*’
try
resp=urllib.request.urlopen(url)
except urllib.error.HTTPError as e
print('原因:',e.reason)
print('响应状态码:',str(e.code))
print('响应头数据:',e.headers)
- 第三方requests库
#requests.get() 用于发送get请求
import requests
url='*’
params=['*':'*']
resp=requests.get(url,params=params)
resp.encoding='utf-8' #设置响应的编码格式
cookie=resp.cookies #获取请求后的cookie信息
headers=resp.headers
print('响应状态码:',resp.status_code)
print('请求后的cookie:',cookie
print('获取请求的网址:',resp.url)
print('响应头:',headers)
print('响应内容:',resp.text)
json_data=resp.json() #获取json数据
print(json_data)
with open('*','wb') as file #存储二进制数据
file.write(resp.content)
session=requests.session() #使用session
resp=session.get(url)
resp.encoding='utf-8’
print(resp.text)
#requests.post() 用于发送post请求
import requests
url='*'
data={'username':'*','password':'*','action':'login'}
resp=requests.post(url,data=data)
resp.encoding='gb2312’
print(resp.status_code)
print(resp.text)
session=requests.session() #使用session
resp=session.post(url,data=data)
resp.encoding='gb2312’
print(resp.text)
- 第三方库XPath
#XPath 用于提取数据
import requests
from lxml import etree
url='*'
headers={'User-Agent':'*'}
resp=requests.get(url,headers) #发送请求
e=etree.HTML(resp.text) #将str类型转换成class 'lxml.etree._Element'(print(type(e)))
e1=e.xpath('//*节点名[last()-1]/text()')
e2=e.xpath('//*节点名[@*属性="*"]/text()')
for e1,e2 in zip(e1,e2)
print(e1,":",e2)
- 第三方库BeautifulSoup
#BeautifulSoup 用于提取数据
from bs4 import BeautifulSoup
html='''
<html>
<head>
<title>*</title>
</head>
<body>
<h1 class='*'>*</h1>
</body>
</html>
'''
bs=BeautifulSoup(html,'html.parser')
bs=BeautifulSoup(html,'lxml')
print(bs.title) #获取标签
print(bs.h1.attrs) #获取h1标签的所有属性
#获取单个属性
print(bs.h1.get('class'))
print(bs.h1['class'])
#获取文本内容
print(bs.title.text)
print(bs.title.string) #获取包括注释内容
print(bs.find('h1',class_='*')) #获取第一个满足条件的标签
print(bs.find_all('h1',class_='*')) #获取所有满足条件的标签列表
for item in bs.find_all('h1',class_='*')
print(item)
print(bs.find_all('h1',attrs={'class':'*'}))
#css选择器
print(bs.select("#*"))
print(bs.select('.*'))
print(bs.select('*>*'))
print(bs.select('*.*>*'))
for item in bs.select('*.*>*'):
print(item.text)
