爬取爱奇艺VIP电影

• 获取要爬取的电影链接--决战中途岛
• 将电影链接放在http://jx.618g.com/?url=后，打开该网页。--决战中途岛
• 打开网页的检查（F12），在Network下的Head里找Request URL: https://youku.cdn7-okzy.com/20200111/16621_33e37e94/1000k/hls/9daac15b8f3000016.ts
• 然后就可以在python中开始写代码了

import requests                              

#   因为.ts文件就是视频的解码，一个ts文件就有几秒画面，所有一部视频可能有1000多个ts文件，所以在这里遍历循环下载ts文件 

for i in range(20):                                                
     url = "https://youku.cdn7-okzy.com/20200111/16621_33e37e94/1000k/hls/9daac15b8f300%04d.ts" % i    
     print(url)                            
     r = requests.get(url)                              
     ret = r.content                          
     
     # 将ts文件保存到文件夹里       
     with open('./video/{}'.format(url[-10:]), 'wb') as f:                                             
         f.write(ret)                                             

• 运行程序后会得到如下结果：

• 下一步我们就要把这些ts文件给合并成一个MP4文件，打开cmd，起换目录到video目录下，然后输入copy /b *.ts 决战中途岛.mp4，如下图所示：
  ![cmd下合并ts文件]

• 打开文件夹后就可以看到合并成了一个决战中途岛.mp4的文件了

总结

• 此方法可用于多平台的VIP电影
• ts文件有许多，所以下载文件可能很慢，这个时候可以用多线程来解决下载速度了

#encoding utf-8
import requests
from queue import Queue
import threading


# 创建线程 生产者负责获取URL，并且解析URL
class Procuder(threading.Thread):
    headers = {
        'user-agent': 'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)'
                      'Chrome/76.0.3809.132 Safari/537.36'
    }

    def __init__(self, num_queue, ts_queue, *args, **kwargs):
        super(Procuder, self).__init__(*args, **kwargs)
        self.num_queue = num_queue
        self.ts_queue = ts_queue

    def run(self):
        while True:
            if self.num_queue.empty():
                # 如果队列为空就，线程执行完成，跳出死循环，结束run
                break
            url = self.num_queue.get()
            self.download_ts(url)

    def download_ts(self, url):
        r = requests.get(url)
        ret = r.content
        filename = url[-10:]
        self.ts_queue.put((ret, filename))



# 创建线程 消费者 负责下载
class Consumer(threading.Thread):

    def __init__(self, num_queue, ts_queue, *args, **kwargs):
        super(Consumer, self).__init__(*args, **kwargs)
        self.num_queue = num_queue
        self.ts_queue = ts_queue

    def run(self):
        while True:
            if self.ts_queue.empty() and self.num_queue.empty():
                # 如果队列为空就，线程执行完成，跳出死循环，结束run
                break
            ret, filename = self.ts_queue.get()
            # 将ts文件保存到文件夹里
            with open('./video/{}'.format(filename), 'wb') as f:
                f.write(ret)
            print(filename + '  下载完成！')


def main():
    # 定义线程
    num_queue = Queue(2000)
    ts_queue =Queue(5000)
    for i in range(1000):
        url = "https://youku.cdn7-okzy.com/20200111/16621_33e37e94/1000k/hls/9daac15b8f300%04d.ts" % i
        num_queue.put(url)
    # 定义5个生产者
    for x in range(100):
        t = Procuder(num_queue, ts_queue)
        t.start()
    # 定义5个消费者
    for x in range(100):
        t = Consumer(num_queue, ts_queue)
        t.start()


if __name__ == '__main__':
    main()