感觉爬虫这种东西久了容易忘，还是写一篇博客来记录一下，以后需要爬取页面的话可以作为参考框架
本篇博客记录的是猫眼电影排行榜电影信息的爬取过程。
页面情况大概是这样的：

电影排行榜

猫眼电影排行榜部分源码.png

s = '<dd>.*?board-index.*?>(.*?)</i>.*?title="(.*?)".*?poster-default.*?src="(.*?)".*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'

其中开头和结尾决定了只匹配'<dd>'标签的内容；'.*?'代表以非贪婪方式匹配任意多个字符，这个非贪婪模式是我觉得基本上每次爬虫都会用到的，为了获取排名，即为'<i>'标签的内容，我们先找到'</i>'，再匹配它前面的内容（排名），通过紧接着排名的符号'>'和后面的符号'</i>'我们就可以锁定‘1’的位置，再加上一个非贪婪匹配即可，小括号的作用是匹配之后可以返回分组，拿到自己想要的内容。
其他的信息匹配原理基本一样，需要耐下心来研读，其实只要练过一次手了，就都会比较简单。
完成正则表达式的匹配模式之后通过

pattern = re.compile(s,re.S)
items = re.findall(pattern,html)

找到所有的匹配结果，这里的items是一个元素为列表的列表（二维列表），每一个元素列表包含了要匹配的信息（6个信息），元素的个数即为该网页的电影个数（这里只匹配单张网页，不进行跳转）
下面给出全部代码

import requests
import re
def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
        #如果出现乱码，那么需要加上这条请求头
        'Accept-Language':'zh-CN,zh;q=0.9'
    }
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
        return response.text
    return None
def main():
    url = 'https://maoyan.com/board/4'
    html = get_one_page(url)
    results = parse_one_page(html)
    for result in results:
        print(result)
#正则提取
def parse_one_page(html):
    s = '<dd>.*?board-index.*?>(.*?)</i>.*?title="(.*?)".*?poster-default.*?src="(.*?)".*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'
    pattern = re.compile(s,re.S)
    items = re.findall(pattern,html)
    for item in items:
        print(item)
        yield {
            'index':item[0],
            'title':item[1],
            'image':item[2].strip(),
            'actor':item[3].strip()[3:] if len(item[3])>3 else '',
            'time':item[4].strip(),
            'score':item[5].strip()+item[6].strip()
        }
main()

目前该代码是可用的，以后网站如果有更新源代码的情况就不好保证了，只是作为一个参考模板。

运行代码以后，应该会出现下面的结果

代码运行结果