一、Requests库
中文文档页面:https://requests.kennethreitz.org/zh_CN/latest/
1.requests.get() 方法
import requests
res=requests.get('www.baidu.com')
print(res)
输出：<Response [200]>
requests.get()，参数为字符串，返回值为Response对象。
2.Response对象
常用属性
status_code http状态
text 内容的字符串形式（HTML文本，一般用于文字）
content 内容的二进制形式（一般用于图片）
encoding 内容的编码
3.requests.post()方法
post方法用于向服务器提交信息，如登录，评论等。
import requests
data = {
'data' = '...',
#post提交的参数
}
res = requests.post('http://...', data=data)
print(res)
输出：<Response [200]>
data的参数可以通过F12中的post请求下的Form Data查看：
上述流程不能保存登录信息，每次请求信息都要重新登录，为简化程序，可以用cookies传递登录信息，上述代码的cookies为res.cookies，可以在下一次的post请求中加入参数 cookies=res.cookies 。
4.会话对象Session
会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie 。
import requests
headers = {
'user-agent': ''
}
data = {
#数据
}
s = requests.Session()
s.headers.updata(headers)
res = s.post('http://...', data=data)
print(res)
进行多个post请求时也会保存cookie。
二、BeautifulSoup库
import requests
from bs4 import BeautifulSoup
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/76.0.3809.132Safari/537.36'}
res = requests.get('https://book.douban.com/top250', headers = headers)
soup = BeautifulSoup(res.text, 'html.parser')
创建BeautifulSoup对象需要两个字符串参数，HTML文本和HTML解析器。html.parser是Python内置的解析器。
print(res.text)和print(soup)内容一样，区别在于类型，前者是str，后者是bs4.BeautifulSoup。
1.BeautifulSoup对象
find() 返回符合条件的首个数据
find_all() 返回符合条件的所有数据
find()/find_all()方法的属性可以是标签、属性，可以使用多个参数。
例：soup.find_all('div', id='...', class_='...'), class为区别于Python中的类用 class_ 代替。
返回值为Tag对象和由Tag对象组成的列表。
tag.text 获取标签内容
tag['属性名'] 获取标签属性值
tag对象也可以使用find()方法嵌套查询。
items = soup.find_all('div',class_= 'item')
for i in items:
tag=i.find('a')
name=tag.text
link = tag['href']
print(name,link)
2.CSS选择器
在 CSS 选择器中，# 代表 id，. 代表 class。比如：#login 表示 id='login' 的所有元素，.item 表示 class='item' 的所有元素。
我们也可以直接通过标签名选择对应的元素，比如：a 表示所有的 a 元素，p 表示所有的 p 元素。
它们也可以组合在一起，选择同时符合条件的元素，比如：a#login 表示所有 id='login' 的 a 元素，p.item 表示所有 class='item' 的 p 元素，#login.item 表示所有 id='login' 且 class='item' 的元素，.item.book 表示所有 class 同时为 item 和 book 的元素。
需要注意的是，选择同时符合条件的元素，选择器之间不能有空格，如果写成 .item .book 就是另一个意思了。这是新的知识点——子元素选择。
当两个选择器之间加了空格，表示子元素选择。还是以 .item .book 为例，它表示选择所有 class='item' 的元素里面 class='book' 的元素，即嵌套在 class='item' 的元素里面 class='book' 的元素。
这个嵌套可以是任意层级的，只要在里面就行，不要求直接嵌套在第一层。如果只需要直接嵌套在第一层符合条件的元素，可以用 > 分隔。比如：.item > .book。
items = soup.select('div.item a')
for i in items:
name = i.text
link = i['href']
print(name, link)
三、静态网页爬虫技巧
1.批量生成网址
url = 'https://book.douban.com/top250?start={}'
# num 从 0 开始因此不用再 -1
urls = [url.format(num*25) for num in range(10)]
print(urls)
# 输出：
# [
# 'https://book.douban.com/top250?start=0',
# 'https://book.douban.com/top250?start=25',
# 'https://book.douban.com/top250?start=50',
# 'https://book.douban.com/top250?start=75',
# 'https://book.douban.com/top250?start=100',
# 'https://book.douban.com/top250?start=125',
# 'https://book.douban.com/top250?start=150',
# 'https://book.douban.com/top250?start=175',
# 'https://book.douban.com/top250?start=200',
# 'https://book.douban.com/top250?start=225'
# ]
2.反爬虫
· 修改请求头
为防止网站识别出爬虫拒绝提供信息，需要修改请求头(request headers)。下图是request headers中的部分字段，user-agent表示用户代理，修改该字段可以把爬虫模拟成浏览器访问。
import requests
# 从浏览器中复制粘贴的请求头
headers = {'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
res = requests.get('https://book.douban.com/top250', headers=headers)
print(res.text)
为防止访问过快背封ip，可以用 time.sleep() 降低访问速度。
· 使用代理
import requests
proxies = {
"http" : "http://......",
"https" : "https://......"
}
request.get("www.baidu.com", proxies = proxies)
练习
import requests
import time
from bs4import BeautifulSoup
headers = {'user-agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 \
Safari/537.36 Edg/83.0.478.45"}
url ='https://movie.douban.com/top250?start={}&filter='
urls = [url.format(i*25) for i in range(10)]
for url in urls:
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.find_all('div', class_='item')
for item in items:
no_ = item.find('em').text
name = item.find('div', class_='hd').find('span').text
with open('..\\file\\movie.txt', 'a')as f:
f.write(no_ +' ' + name +'\n')
time.sleep(0.1)
