使用grep正则匹配提取.m3u8视频并下载

最近某教育app上看到了一些很不错的视频,可惜这些活动期的视频有期限限制,于是打算把他们都下载下来

首先使用抓包工具Charles抓取视频的请求数据,API是https的,需要安装安全证书,具体步骤略过。

之后我拿到了包含该系列课程视频url集合的response数据,json格式,视频基于.m3u8,接下来要做的就是把这些.m3u8提取出来,在百度上找了一些grep的正则提取url方法,都不太好用,最后Google出一片境外的文章,方法如下:

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.jpe?g]'  url.txt

稍加改动,我们要的是.m3u8的视频地址,所以改为:

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt

url.txt为我们的json数据,这样就可以顺利的拿到所有的视频链接了。

接下来,我发现所有按行排列的.m3u8地址包含了多种清晰度,有pc_low.m3u8,pc_mid.m3u8,pc_high.m3u8结尾的,很明显,需要从其中提取一种,很简单,只要在上面的grep语句中把[.m3u8]改为[pc_low.m3u8]就可以了。

下载资源的问题解决了,那么下载输出呢?我们需要给每个下载好的MP4文件命名,并放到我们指定的目录下,简单起见,就按照顺序命名为1.mp4; 2.mp4; 3.mp4....

在url.txt相同的目录下新建一个linePut.sh,把我们上面的命令写成脚本,vim linePut.sh:

n=1

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt | grep".pc_mid.m3u8$" | while read line

do

{

    {

        echo"ffmpeg -i $line /Users/mz/subDesktop/wanmenVideo/$n.mp4"

    } &

    let n=$n+1

}

done

wait

########--------

/Users/mz/subDesktop/wanmenVideo是我自定义存放MP4的路径

执行这个脚本之后会输出每一个视频的下载命令,把这些输出结果写入另一个result.sh, 然后终端输入:

sh linePut.sh > result.sh ; sh result.sh


然后我们就能在/Users/mz/subDesktop/wanmenVideo看到下载的视频了


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,269评论 19 139
  • 项目上线之后,或者在测试环境,经常会有bug让我们去排查和修改,这个时候,我们需要在linux系统中使用一些命令帮...
    时之令阅读 2,873评论 0 2
  • 1,正则表达式的作用:匹配一个字符串中的一些内容 2,声明和使用: 1)构造函数 var reg=new RegE...
    WDL_1a39阅读 778评论 0 1
  • Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。grep全...
    宝贝小魔阅读 405评论 0 1
  • 我们都喜欢发泄自己的坏情绪, 我们都喜欢因为自己迁怒别人, 我们都因为自己的不足而怪罪别人, 我们甚至的亲朋好友甚...
    小虫子Badi阅读 918评论 0 1