一、目的
从OpenCV中读取帧后，一方面对帧进行其他处理，同时把获取的帧推送到rtmp服务器实现直播。
二、docker中搭建rtmp服务器
本文忽略如何安装docker，docker的命令等。
(一) 拉取rtmp镜像并运行
我用的是 jun3/rtmp 这个镜像(GitHub地址是：https://github.com/jun3372/rtmp)
docker pull jun3/rtmp
docker run --name rtmp -p 1935:1935 -p 8080:80 -d -it jun3/rtmp
(二) rtmp服务器的简单操作
-
运行镜像后在浏览器地址栏输入：127.0.0.1:8080即可看到这个界面：
image.png
不过可能是我浏览器的缘故，即使在推流时也无法播放。
-
在浏览器地址栏输入：127.0.0.1:8080/stat 可查看rtmp服务器当前推拉流的情况。
没有视频流推送时是这样的：
image.png
有视频流推送时是这样的：
image.png
(三) FFmpeg推流验证
怎么装FFmpeg就忽略过了。我是从ARM嵌入式主机推流的，Ubuntu18的操作系统。在终端中用此命令推流：
$ ffmpeg -f video4linux2 -s 640x480 -i /dev/video10 -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -f flv rtmp://1.2.3.4:1935/stream/pupils_trace
命令中有很多参数，我并不完全清楚。需要根据实际情况修改的如下：
| 参数 | 说明 |
|---|---|
| -s 640x480 | 推送给服务器的视频流画面的分辨率 |
| -i /dev/video10 | 推送哪个摄像头拍到的画面，我的是10 |
| rtmp://1.2.3.4:1935/stream/pupils_trace | rtmp服务器的地址。其中1.2.3.4应该为实际rtmp服务器地址；stream是固定的，应该是刚才那个docker镜像中写死了；pupils_trace想怎么写都行，写什么在rtmp服务器后台就看到什么 |
三、python中进行推流
- 为了和其他python程序较好的结合，同时又尽可能减少对原有代码的改动，我单独做成一个类。
- 采用多进程方式处理(python自带的multiprocessing模块实现)
(一) 实现思路
- 通过队列从外部获取需推送的内容，包括帧和其他相关信息
- 如果有必要，则在推送前做一些画面处理
- 多进程daemon方式后台推送，不影响其他程序
(二) 代码
import cv2 as cv
import time
import subprocess as sp
import multiprocessing
import platform
import psutil
class stream_pusher(object):
def __init__(self, rtmp_url=None, raw_frame_q=None): #类实例化的时候传入rtmp地址和帧传入队列
self.rtmp_url = rtmp_url
self.raw_frame_q = raw_frame_q
fps = 20 # 设置帧速率
# 设置分辨率
width = 640 # 宽
height = 480 # 高
# 设置FFmpeg命令文本
self.command = ['ffmpeg',
'-y',
'-f', 'rawvideo',
'-vcodec', 'rawvideo',
'-pix_fmt', 'bgr24',
'-s', "{}x{}".format(width, height),
'-r', str(fps),
'-i', '-',
'-c:v', 'libx264',
'-pix_fmt', 'yuv420p',
'-preset', 'ultrafast',
'-f', 'flv',
self.rtmp_url]
'''
# 对获取的帧做一些画面处理的方法，返回完成处理的帧。
def __frame_handle__(self, raw_frame, text, shape1, shape2):
#帧用cv2进行一些处理，比如写上文本，画矩形等
return(raw_frame)
# 向服务器推送
def push_frame(self):
# 指定在哪些cpu核上运行。我的ARM有6核，前4核较慢做辅助处理。后2核较快，做核心程序的处理。这里指定推流动作在慢的4个核中运行
p = psutil.Process()
p.cpu_affinity([0,1,2,3])
# 配置向os传递命令的管道
p = sp.Popen(self.command, stdin=sp.PIPE)
while True:
if not self.raw_frame_q.empty(): # 如果输入管道不为空
# 把帧和相关信息从输入队列中取出
raw_frame, text, shape1, shape2 = self.raw_frame_q.get()
# 对获取的帧进行画面处理
frame = self.__frame_handle__(raw_frame, text, shape1, shape2)
# 把内容放入管道，放入后有os自己去执行
p.stdin.write(frame.tostring())
else:
time.sleep(0.01)
# 启动运行
def run(self):
# 定义一个子进程
push_frame_p = multiprocessing.Process(target=self.push_frame, args=())
push_frame_p.daemon = True # 把子进程设置为daemon方式
push_frame_p.start() # 运行子进程
if __name__ == '__main__':
# 根据不同的操作系统，设定读取哪个摄像头
if platform.system() == 'Linux': # 如果是Linux系统
cap = cv.VideoCapture(10) # 绑定编号为10的摄像头
cap.set(3, 640) # 设置摄像头画面的宽
cap.set(4, 480) # 设置摄像头画面的高
elif platform.system() == 'Darwin': # 如果是苹果的OS X系统
cap = cv.VideoCapture(0) 绑定编号为0的摄像头
cap.set(3, 640)
cap.set(4, 480)
else: # 没有windows系统，所以就不判断了
exit(0)
rtmpUrl = "rtmp://1.2.3.4:1935/stream/pupils_trace" # 用vcl等直播软件播放时，也用这个地址
raw_q = multiprocessing.Queue() # 定义一个向推流对象传入帧及其他信息的队列
my_pusher = stream_pusher(rtmp_url=rtmpUrl, raw_frame_q=raw_q) # 实例化一个对象
my_pusher.run() # 让这个对象在后台推送视频流
for i in range(1000):
_, raw_frame = cap.read()
info = (raw_frame,'2','3','4') # 把需要送入队列的内容进行封装
if not raw_q.full(): # 如果队列没满
raw_q.put(info) # 送入队列
cv.waitKey(1)
cap.release()
print('finish')
四、vlc拉流软件看直播
直接按界面顺序上图。
image.png
image.png
image.png
