一、准备工作

安装requests

pip install requests

二、观察网页信息

1.目标网站-->猫眼电影TOP100,可以看到每页有100个电影，一共有10页，每个电影分别有排名、电影名称、演员、上映时间、评分，这是我们需要得到的信息，并且我们只需要循环10次就好了
2.观察每一页的URL，点击第二页 https://maoyan.com/board/4?offset=10 我们可以看到后面多了个offset=10，依次点击会发现规律20、30.....,那么第一页会是什么呢？我们猜想会不会是https://maoyan.com/board/4?offset=0 使了一下果然ok，那么简单喽

构造URL函数

def main(offset):
    url='http://maoyan.com/board/4?offset='+str(offset)
    html=get_one_page(url)
    parser=parser_one_page(html)
    for p in parser:
        write_to_file(p)

if __name__ == '__main__':
   for i in range(10):
       main(offset=i*10)

三、构建GET请求

既然URL我们已经有了，那么就方便了直接使用requests的get请求

def get_one_page(url):
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
    try:
        r=requests.get(url,headers=headers)
        r.encoding=r.apparent_encoding
        if r.status_code==200:
            return r.text
        return None
    except:
        print('shibai')

这里面我们使用了headers这个参数，（毕竟要给网站点面子）这个是告诉网站你是个什么东西（好像怪怪的），但是确实我使用的是Chrome浏览器和win电脑，如果不设置这个，网站那边直接显示Python程序，也就是个爬虫

四、解析页面

经过第三步的操作我们已经得到了一个Response对象，里面包含了我们所需要的信息，那么这步我们就是提取出我们需要的信息，一共有这么几个电影的有排名、电影名称、演员、上映时间、评分，话不多说，上代码

def parser_one_page(html):
    partern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    item=re.findall(partern,html)
    for i in item:
        print(i)
        yield {
            '排名': i[0],
            '电影名称': i[1],
            '演员': i[2].strip()[3:],
            '上映时间': i[3].strip()[5:],
            '评分': i[4] + i[5]
        }

使用正则表达式通用的（.*?）来连接标签，匹配我们想要的内容，经过这部分之后会看到控制台依次输出

捕获.JPG

五、保存爬取的电影信息

我们经过上一部分已经获得了top100的信息，下面我们来把获得的信息保存起来，我这里是存到本地，也可存到数据库里，感兴趣的可以自己试下

def write_to_file(content):
    with open('top100.txt','a',encoding='UTF-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')

这里保存在你程序的文件夹下，名字叫做top100以TXT格式，使用UTF-8编码，每一行加了换行符，使用json.dumps对数据进行编码，但是有个问题，有些文字的ascii 字符码，不是真正的中文，这是因为json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定ensure_ascii=False

全部代码-->猫眼电影TOP100github

六、总结

有这么几个需要注意的地方

针对网站的反爬，做好反反爬措施
正则表达式一定要写对
文件的保存，记得设置ensure_ascii=False

Requests+re爬取猫眼电影TOP100排行，并保存