1. 获取网页,使用requests三方库
"""获取网页"""
headers = {
"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)"
}
url = 'http://maoyan.com/board/4?offset=' + str(offset)
response = requests.get(url, headers=headers)
说明:response可以使用两种方法获取网页(text,content)
text:拿到网页的文本,如果乱码,不能进行其它处理
content:拿到网页的二进制,后面可是使用decode('utf-8')进行解码.例:response.content.decode('utf-8')
2. 使用正则解析获得的html
pattern = re.compile('movieId.*?>.*?<img.*?<img.*?alt="(.*?)" class.*?', re.S)
# re.S代表忽略空格 str.strip()去除字符串两边的空格,换行符等(内部参数没有时,去除空格等)
movie_names = re.findall(pattern, html) # 拿到的是一个集合
pattern = re.compile('<p class="score"><i class="integer">(.*?)</i><i class="fraction">(.*?)</i></p>', re.S)
movie_scores = re.findall(pattern, html)
pattern = re.compile('<div class="movie-item-info">.*?<p class="name"><a href="(.*?)"', re.S)
details = re.findall(pattern, html)
3. 图片下载
思路:获取到图片的链接img_url,使用requests.get(img_url),然后获取到二进制.最后写入文件
实现:
response = requests.get(img_url)
result = response.content
filename = img_url.split('/')[-1].split('@')[0]
with open(f'./maoyan_cover/{filename}', 'wb') as f:
f.write(result)
