python爬虫-12-用python爬取视频网站电影天堂中每一个视频的详情,看电影?来吧(下)

上一篇中我们写了一半了,本文在上一篇的基础上继续进行。

1、特殊处理点

需要注意一个问题,之前我们取值的时候,都是一行一行读取的,然后从中获取关键字,那么如果是下面的情况呢?

可以看到一个电影里面往往有很多个演员,这种时候我们如果再根据关键字演员来筛选的话,肯定是不合适的,那么我们采取下面的方式来进行;

if info.startswith('◎演  员'):
    Video_Yanyuan = info.replace('◎演  员', '')
    print('Video_Yanyuan:' + Video_Yanyuan)
    for x in range(index + 1, len(Detail_Content)):
        actor = Detail_Content[x]
        if actor.startswith("◎"):
            break
        print(actor)

上面的意思是说,当我们获取到◎演  员关键字之后,继续往下按行轮训获取值,直到下一个关键字出现为止,这样子就获取到了所有的演员名单。

2、初步代码

当我们所有的问题点解决完之后,我们此时的代码应该如下:

# 导入模块
import requests
from lxml import etree

# 请求头
Headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    'Referer': 'https://www.ygdy8.net/html/gndy/dyzz/index.html'
}

Base_Url = 'https://www.ygdy8.net'

# 请求第一页
One_Url = 'https://www.ygdy8.net/html/gndy/dyzz/list_23_1.html'
Requ = requests.get(url=One_Url, headers=Headers)
Text = Requ.content.decode('gbk')
# print(Text)

# 获取中间部分视频的url
Html = etree.HTML(Text)
One_Page = Html.xpath("//div[@class='co_content8']//a")
# print(One_Page)

# 获取每个url,并轮训请求
for Details_Url in One_Page:
    Href = Details_Url.xpath("@href")[0]
    # print(Href)
    # 找到以“/”开头的
    if Href.startswith('/'):
        Detail_Url = Base_Url + Href
        One_Detail = requests.get(url=Detail_Url, headers=Headers)
        One_Detail_Html = One_Detail.content.decode('gbk')
        # print(One_Detail.content.decode('gbk'))
        Detail_Html = etree.HTML(One_Detail_Html)
        Detail_Content = Detail_Html.xpath("//div[@id='Zoom']//text()")
        # print(Detail_Content)
        for index, info in enumerate(Detail_Content):
            # 先写三个示例
            if info.startswith('◎译  名'):
                Video_Name_CN = info.replace('◎译  名', '')
                print('Video_Name_CN:' + Video_Name_CN)
            if info.startswith('◎片  名'):
                Video_Name = info.replace('◎片  名', '')
                print('Video_Name:' + Video_Name)
            if info.startswith('◎产  地'):
                Video_Address = info.replace('◎产  地', '')
                print('Video_Address' + Video_Address)
            if info.startswith('◎类  别'):
                Video_Type = info.replace('◎类  别', '')
                print('Video_Type: ' + Video_Type)
            if info.startswith('◎语  言'):
                Video_language = info.replace('◎语  言', '')
                print('Video_Language:' + Video_language)
            if info.startswith('◎上映日期'):
                Video_Date = info.replace('◎上映日期', '')
                print("Video_Date:" + Video_Date)
            if info.startswith('◎豆瓣评分'):
                Video_Number = info.replace('◎豆瓣评分', '')
                print("Video_Number:" + Video_Number)
            if info.startswith('◎片  长'):
                Video_Time = info.replace('◎片  长', '')
                print('Video_Time:' + Video_Time)
            if info.startswith('◎导  演'):
                Video_Daoyan = info.replace('◎导  演', '')
                print('Video_Daoyan:' + Video_Daoyan)
            if info.startswith('◎演  员'):
                Video_Yanyuan = info.replace('◎演  员', '')
                print('Video_Yanyuan:' + Video_Yanyuan)
                for x in range(index + 1, len(Detail_Content)):
                    actor = Detail_Content[x]
                    if actor.startswith("◎"):
                        break
                    print(actor)

    # 只允许请求一次
    break

此时我们的运行结果如下:

Video_Name_CN: 正发生
Video_Name:L'Événement  /  Happening
Video_Address 法国
Video_Type:  剧情
Video_Language: 法语
Video_Date:2021-09-06(威尼斯电影节)  / 2021-11-24(法国)
Video_Number:7.8/10 from 7333 users
Video_Time:100分钟
Video_Daoyan: 奥黛丽·迪万 Audrey Diwan
Video_Yanyuan: 安娜玛丽亚·沃特鲁梅 Anamaria Vartolomei
       卡西·莫泰·克莱恩 Kacey Mottet Klein
       卢安娜·巴杰拉米 Luàna  Bajrami
       露易丝·奥利-狄奎罗 Louise Orry-Diquéro
       路易丝·舍维约特 Louise  Chevillotte
       皮奥·马麦 Pio Marmaï
       桑德里娜·博内尔 Sandrine  Bonnaire
       安娜·穆格拉利斯 Anna Mouglalis
       阿丽斯·德·朗克桑 Alice de  Lencquesaing
       法布里齐奥·隆吉奥内 Fabrizio Rongione
       塞德里克·梅斯伯格 Cédric  Meusburger

3、完善代码

当我们能获取到第一页的第一个视频的相关信息之后,我们是不是进行多次轮训就可以了;

但是还有另外一个问题,一份优雅的代码不应该是一系列代码的堆叠,我们需要进行相关的优化,我们这里就将代码拆分成几个文件吧。

4、完整代码


剩余内容请转至VX公众号 “运维家” ,回复 “174” 查看。

------ “运维家” ,回复 “174”  ------

------ “运维家” ,回复 “174”  ------

------ “运维家” ,回复 “174”  ------

在Linux中的命令,linux实时线程,linux中tail,如何调用linux的epoll,linux无故多出很多进程,linux怎么打开xls文件,linux怎样用命令打开软件,程序员要不要装linux系统,LINUX通用链表实例;

usb无法安装linux,类似安卓linux,在linux中压缩解压命令,512老电脑linux,linux中退出根目录,linux自定义自启的脚本,linux管理员用户名是,新装的linux网卡配置,linux修改u盘权限失败,c语言linux下开发软件。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,406评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,732评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,711评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,380评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,432评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,301评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,145评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,008评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,443评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,649评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,795评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,501评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,119评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,731评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,865评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,899评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,724评论 2 354

推荐阅读更多精彩内容