前言：测试阶段验证了RTSP流转RTMP流并让前端拉流播放的可行性，但是用控制台实现功能有很多弊端，所以需要将其集成到web系统中。
因为对视频推流等相关技术不甚了解，所以解决方案也是从相关博文中进行提取和优化，接下来说明下尝试的几种技术方案：
方案一： 用海康威视的web3.0包。当时测试时如大多数博客所说，只能在IE浏览器顺利运行，且要下载相应的插件，局限性实在太大，所以弃用。
方案二： 使用海康威视SDK调用摄像头的相关方法，并用FFmpegCommandHandler将RTSP流转RTMP流推到nginx流媒体服务器（使用nginx-rtmp-module插件）上，然后流媒体服务器通过前端使用videojs视频通过设置源推流地址播放。这里主要借鉴了这两篇博文中的方案和代码https://blog.csdn.net/lee_decimal/article/details/111215248
https://blog.csdn.net/qq_36720088/article/details/82893924
方案三： nginx插件换成nginx-http-flv-module，然后前端播放插件换成flvjs，其他都跟方案二一样。
方案二过度到方案三的原因：H5的默认播放器video支持的视频格式有限，不能直接播放RTMP直播流，而市面上大多数的前端视频插件需要以flv格式播放RTMP流，且它们都需要flash插件的帮助才能播放，最纠结的地方在于chrome等大众浏览器都开始不再支持flash插件了。所以最好的替代方案就是flvjs（HTML5 Flash 视频播放器，可自行百度），而flvjs播放直播流的必要条件就是必须是http协议的流，所以在nginx中安装nginx-http-flv-module插件替换了原有插件。
我先将博文中最普遍的方案二继续了实现，后一篇中再说改进方案。
系统集成
一. 下载需要的软件包和插件
1. VLC media player。用于测试是否推流成功。
2. FFmpeg。安装完后需要配置环境变量，项目中的FFmpegCommandHandler也需要配置相应的配置文件指定FFmpeg路径。
3. nginx和nginx-rtmp-module插件。安装完后进行conf文件配置，测试阶段有相应配置代码。
4. videojs。前端流媒体播放插件，下载5.xx.x版本（我用的是5.20.5）。
5. 海康威视SDK，根据系统位数（32位和64位）下载，不然运行不了。
二. 代码编写
后端代码的整体执行流程：首先调用海康的sdk工具连接摄像头设备，进行操作后获取操作结果或者需要的数据，再由后端条用FFmpegcommandHandler执行推流（将直播流推到nginx服务器上）；浏览器用户浏览实时监控时，插件会从直播地址拉流到浏览器中进行播放。
1. 工具类编写。HCNetUtil是主要负责和SDK直接操作，而MonitorUtil则负责直接调用HCNetUtil，并将返回结果和FFmpegcommandHandler操作一起封装成通用行为。其中HCNetUtil的主要行为是设备初始化，设备注册（其他接口可以查看SDK中的手册）
/**
* 初始化资源配置
* @return
*/
public boolean initDevice() {
return hCNetSDK.NET_DVR_Init();
}
/**
* 注册设备
* @param userName
* @param password
* @param ipAddress
* @param port
* @return
*/
public boolean registDevice(String userName, String password, String ipAddress, String port) {
if (lUserID.longValue() > -1) {
hCNetSDK.NET_DVR_Logout_V30(lUserID);
lUserID = new NativeLong(-1);
}
// 开始注册
// 获取设备参数数据结构
deviceInfo = new HCNetSDK.NET_DVR_DEVICEINFO_V30();
lUserID = hCNetSDK.NET_DVR_Login_V30(ipAddress, (short)Integer.parseInt(port), userName, password, deviceInfo);
long userID = lUserID.longValue();
System.out.println("lUserID:" + lUserID + "***********************");
if (-1 == userID) {
deviceIP = "";
return false;
}
deviceIP = ipAddress;
System.out.println("注册设备成功***********************");
return true;
}
/**
* (注销并)释放SDK资源
* @return
*/
public boolean shutDownDev() {
// 如果已经注册，则注销
if (lUserID.longValue() > -1) {
if (!hCNetSDK.NET_DVR_Logout_V30(lUserID)) {
return false;
}
}
// 释放SDK资源
if (!hCNetSDK.NET_DVR_Cleanup()) {
return false;
}
return true;
}
MinitorUtil中实现了推流，停止推流，推流并获取进程ID等方法。
/**
* 开始推流并返回ffmpeg进程ID
* @param monitor
* @param prsName
* @return
*/
public Map<String, String> startTranscodeAndGetTask(String prsName, String userName, String password, String ipAddress, String port) {
Map<String, String> result = new HashMap<>();
int chanNum = -1;
// 初始化设备并注册
if(hCUtil.initDevice() && hCUtil.registDevice(userName, password, ipAddress, port)) {
chanNum = hCUtil.getChannelNum();
if(chanNum != -1) {
result = MonitorUtil.startTranscode(prsName, userName, password, ipAddress, port, chanNum);
}
}
result.put("errorMsg", hCUtil.getErrorMsg());
if(!hCUtil.shutDownDev()) {
System.err.println(hCUtil.getErrorMsg());
}
return result;
}
/**
* 开始推流
* @param prsName 进程名称
* @param userName 设备用户名
* @param password 密码
* @param ipAddress ip地址
* @param chanNum 通道号(针对这个ffmpeg工具jar包有点冗余，但还是加上这个参数，方便后期维护)
* @return 成功返回进程ID(与设置的进程名称相同)
*/
public static Map<String, String> startTranscode(String prsName, String userName, String password, String ipAddress, String port, int chanNum) {
String chanNumStr = "ch" + chanNum;
String taskID = "";
String RTMPUrl = "";
Map<String, String> map = new HashMap<>();
Map<String, String> res = new HashMap<>();
if(fManager == null) {
fManager = new FFmpegManagerImpl();
}
// 如果进程存在，则直接返回
if(MonitorUtil.taskIsRun(prsName)) {
return res;
}
//进程名
map.put("appName", prsName);
// map.put("input", "rtsp://"+ userName +":" + password + "@" + ipAddress + ":554/Streaming/channels/001 -c:v libx264");
map.put("input", "\"rtsp://" + userName + ":" + password + "@" + ipAddress + ":554" + "/h264/" + chanNumStr + "/main/av_stream\" -b:v 500k -bufsize 500k -maxrate 600k");
map.put("output", RTMP_OUTPUT_URL); //rtmp流.live为nginx-rtmp的配置
map.put("fps", "25");
map.put("fmt", "flv");
map.put("rtsp_transport", "tcp");
map.put("twoPart", "1"); //只推元码流
// 成功返回进程ID
taskID = fManager.start(map);
RTMPUrl = RTMP_OUTPUT_URL + taskID;
res.put("taskID", (StringUtils.isNotEmpty(taskID)) ? taskID : "");
res.put("RTMPUrl", RTMPUrl);
return res;
}
/**
* 关闭推流进程
* @param taskID 进程ID号
* @return
*/
public static boolean stopTranscode(String taskID) {
if(!taskIsRun(taskID)) {
return true;
}
return fManager.stop(taskID);
}
2. 框架中对应的接口实现。中间的三层结构代码实现就不贴出来了，主要目的就是将rtmp推流地址传到前端并让前端动态加载视频。
3. 前端显示。
<html>
<head>
<meta charset="UTF-8">
<title>Insert title here</title>
<link rel="stylesheet" type="text/css" href="../../../videojs/video-js.css" />
<script type="text/javascript" src="videojs/video.js"></script>
<script type="text/javascript" src="videojs/videojs-ie8.js"></script>
<script type="text/javascript" src="js/monitor.js"></script>
</head>
<body>
<div id="monitorPreview"></div>
</body>
</html>
videojs.options.flash.swf = "videojs/video-js.swf"
monitorPreview("rtmp://localhost:1935/live/room")
function monitorPreview(targetPushAddress) {
if (!targetPushAddress) {
return
}
initMonitor(
'monitorV', {
controls: false, // 是否显示控制条
poster: '', // 视频封面图地址
preload: 'auto',
width: 770,
height: 550,
language: 'zh-CN', // 设置语言
muted: true, // 是否静音
inactivityTimeout: false,
sources: [ // 视频来源路径
{
src: targetPushAddress,
type: 'rtmp/flv'
}
]
},
function(player) {
player.play()
}
)
}
function initMonitor(id, options, callback) {
var mon = $('<video id="' + id + '" class="video-js" data-setup="{}"></video>')
$('#monitorPreview').append(mon)
// 挂到window上方便销毁
this.monitor = videojs(id, options, function() {
callback(this)
})
}
这里需要注意，如果直接在html页面中写对应的video控件并指定了视频流的源路径，当执行到js代码时，videojs控件就已经进行了初始化，而与jquery不同的是，videojs不允许对视频控件进行二次渲染（会报错Player “xxx“ is already initialised. Options will not be applied）所以这时就需要动态添加video控件了。
三. 问题和总结
开发过程中主要碰到了以下几个问题:
-
Unable to load library 'HCNetSDK': ÕҲ»µ½ָ¶¨。根本问题是找不到HCNetSDK.dll文件，分两种情况：
- SDK版本和系统版本不对应，32位安装32位SDK，64对64。
- 路径不对。一种场景是当动态获取路径时，因为某些系统中通过getResource("/").getPath()获取的路径如果包含" "则会把空格转成%20字符串，所以需要将对应字符替换回来；另一种场景就是粗心了，这时候需要查看日志修改代码。
- Player “xxx“ is already initialised. Options will not be applied。这个上面说过就不过多赘述。
- SDK报错码29（NET_DVR_DVROPRATEFAILED）、186（NET_SDK_ERR_FUNCTION_INVALID）。出现这写错误就需要查看SDK的dll文件是否导全了、SDK包和系统版本是否对应。
-
FFmpegCommandHandler使用了已经弃用的stop()方法。
线程方法stop()
拿到FFmpegCommandHandler源码，修改代码并重新打jar包。
@SuppressWarnings("deprecation")
@Override
public boolean stop(Thread outHandler) {
try {
if (outHandler != null && outHandler.isAlive()) {
outHandler.sleep(200);
outHandler.interrupt();
outHandler.destroy();
}
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
return true;
}
}
系统集成阶段总结：此方案极度依赖flash插件，现在最新版chrome已经不支持（连询问后加载的余地都没有），虽然有相应的解决方法，但是需要客户在浏览器令行安装插件，使用上并不友好。然后是安全问题，因为流媒体部署后，所有外网用户都能进行访问，这时需要对某些监控视频进行权限操作这个方案就不太行了，所以想出了对应的解决方案（方案三）。
