利用requests和正则表达式抓取猫眼电影top100

前言

刚学了正则表达式,赶紧用它来练练手,以防搞忘了。这次练习的目标比较简单,就是爬取猫眼电影top100,具体包括电影排名,片名,主演,上映时间,评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。

分析目标网页

打开目标URL:http://maoyan.com/board/4?offset=0

点击下一页,我们会发现URL的参数offset=0变成了offset=10

多翻几页,会发现offset是以10的倍数增长,从0增到90,每一页是十部电影信息,总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。

构造正则表达式

点击右键-检查,查看网页源代码:

我们发现每部电影都分别在一个<dd>标签中,接着往下看。
我们会发现每部电影的排名信息在<i>标签下属性值为board-index的标签中,我们可以写正则表达式来提取排名信息:

<dd>.*?board-index.*?>(.*?)</i>

我们会发现每部电影的电影名称在<p>标签下,属性值为name的标签中,我们可以这样书写正则表达式来提取电影名称信息:

.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>

由于电影名称在<p>标签下的<a>标签下中,这里为了以防匹配出错,最好还是将<a>标签中的一个属性值boarditem-click写在正则表达式中,以提高匹配的精确度。

然后主演在<p>标签下属性值为star的标签中,接着写正则表达式来匹配主演信息:

.*?star.*?>(.*?)</p>

然后电影的上映时间在<p>标签下属性值为releasetime的标签中,正则表达式如下:

.*?releasetime.*?>(.*?)</p>

最后电影的评分在<i>标签下属性值分别为integerfraction的两个<i>标签中,正则表达式如下:

.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>

最后完整的正则表达式如下:

<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

然后就可以写代码了。

完整代码:

import requests 
import re
import json
from requests.exceptions import RequestException
import time

def get_one_page(url):
"""单个网页的请求"""
    headers = {   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
    }      
    # 这里要添加一个请求头,否则会访问网页失败    
    # 使用 RequestException可以捕捉所有的异常        
    try:  
        response = requests.get(url, headers = headers)        
    except RequestException:                
        return None
    return response.text
    time.sleep(2)  # 休眠2秒钟        

def parse_one_page(html):
"""解析单个网页"""
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>' + 
                           '.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>' + 
                          '.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
        
    # 使用re.findall方法搜索整个文档,匹配所有能够被匹配的信息    
    items = re.findall(pattern, html)            
    
    # 这里的items是一个列表,使用for循环来遍历    
    for item in items:         # 构造一个迭代器,按字典格式输出               
        yield{                        
            '排名': item[0],                        
            '片名 ': item[1],                        
            '主演': item[2].strip()[3:],                        
            '上映时间': item[3].strip()[5:],                        
            '评分': item[4]+ item[5]  # 将评分信息连接起来
        }           

def write_file(content):   
"""写入文件"""        
    # 写入中文时,这里要指定参数encoding='utf-8', 否则会出现乱码    
    with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f:        
    # 使用json.dumps方法将字典格式的content转换为字符串格式        
    # 指定参数ensure_ascii=False,否则会出现中文乱码        
    # 末尾加一个换行符,每写入一条信息就换行一次
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
"""主函数,参数为offset,动态构造URL"""
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)   # 调用请求函数
    for item in parse_one_page(html): # 调用解析函数
        # print(item)
        write_file(item)  # 调用写入文件函数

if __name__ == '__main__':        
    for i in range(10):
        main(i*10)  # 构造参数offset,达到翻页的效果。

具体细节在注释中有相关的说明,最后我们看一下爬取结果:

爬取结果

你也可以试一试,如果遇到什么问题,欢迎共同讨论~

每天学习一点点,每天进步一点点。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,099评论 19 139
  • 20170531 这几天重新拾起了爬虫,算起来有将近5个月不碰python爬虫了。 对照着网上的程序和自己以前写的...
    八神苍月阅读 14,274评论 3 44
  • 初衷:看了很多视频、文章,最后却通通忘记了,别人的知识依旧是别人的,自己却什么都没获得。此系列文章旨在加深自己的印...
    DCbryant阅读 4,087评论 0 20
  • 三月份,春季的开始,这也意味着刚刚从冬季的寒冷走出来,而这个时候却是很容易困乏的时候。 一个安静的午后,因为很困顿...
    雨下的城市阅读 174评论 0 1
  • 大一那年,2012年的平安夜,在宿舍跟舍友吃零食,喝酒,聊天,玩游戏。几个不谙世事的女孩子,那会儿相互陪伴,相互嫌...
    慢尔阅读 395评论 0 1