目标：爬影视网站ts文件到本地，合并成mp4文件

下载ts文件

本着不重复造轮子的精神(好吧其实是我懒)，想用迅雷批量下载爬取，但是迅雷提供的通配符过于简单无法构造URL，只能自己写脚本
如下：

# -*- coding: utf-8 -*-
import os
import requests
from multiprocessing import Pool

OVER_INDEX = 1600
L = 6


def download(url, n):
    try:
        r = requests.get(url)
        if r.status_code != 200:
            print("Requests Failed Code:{},Msg:{}".format(r.status_code, r.text))
        print("{}.ts DownLoading...".format(n))
        with open("./video/{}.ts".format(n), "wb") as f:
            f.write(r.content)
        print("{}.ts DownLoad Over...".format(n))
    except Exception as e:
        print(e)


if __name__ == '__main__':
    po = Pool(100)
    for i in range(OVER_INDEX):
        distance = L - len(str(i))
        n = "{}{}".format("0" * distance, i) if distance != 0 else i
        url = "https://youku.cdn7-okzy.com/20200204/16986_7277c4b6/1000k/hls/ac79fd06c1b{}.ts".format(n)
        po.apply_async(download, args=(url, n))
    po.close()
    po.join()
    print("Over File DownLoad...")

异常

• 爬取二进制文件使用
  r.content()
• 多进程池爬取后期表现为，顺序执行（跟单进程无异）
  netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}
  查看发现 TIME_WAIT 79，查看监视器，并不是网络资源耗尽，查看multiprocessing发现，猜想池中维持指定个数进程，一个任务结束才会执行下一个任务，如果达到平衡状态，一段时间内进程池内只有一个空位，那么表现就会想像同步执行。尝试扩容进程池改，运行正常
  po = Pool(100)

爬取文件结束，开始合并
因为是Mac环境，无法使用Win自带copy命令，各脚本不是失效就是报错，软件也寥寥无几
经查文档，采取如下方案

安装 FFmepg

• brew install ffmpeg
• 各种库一堆装，忘记了换源，下载编译了好几小时，还好没报错。

合并

• ffmpeg -f concat -i file_list.txt -c copy output.mp4
• 其中file_list为如下格式文本文件

      file 'input1.ts'
      file 'input2.ts'
      file 'input3.ts'

采用脚本生成

 filePath = "/Users/ls/project/DownVideo/video"
    file_list=sorted(os.listdir(filePath))
    with open("./video/file_list.txt","w+") as f:
        for file in file_list:
            f.write("file '{}'\n".format(file))

结束

到这里倒腾结束了，写脚本没有花太多时间，主要查找合并ts到mp4的办法，如果是win copy是真的简单，格式工厂这类软件也多，但在Mac下就要自己动手丰衣足食，各有各的好处。后面可以利用tqbm扩展进度条，和利用retry增加爬取异常时重试机制。