中国计量大学刷脸领卷系统上线，整合人脸识别技术到具体业务系统以海康为例。

1.起因

高校教师很多，新进教师多，人员变动今年来越来越频繁，没有人有办法认识所有教师，试卷领取光靠人眼识别不靠谱；
试卷领取安全性要求高，考试是学风建设的最后一道关，试卷安全性也是考试整体安全性的重要环节，试卷被冒领或错领，都对考试是很大的安全挑战；
监管难度大，尤其在考试密集发生的期末，为了照顾领取的效率，在没有系统辅助的情况下势必妥协身份核验的过程，私下替换监考、研究生代领试卷存在一定的发生概率；
监考老师来领取试卷，为了安全起见，还需要填写一个试卷领取确认登记表，期末集中考试的时候有时候队伍排出老远，秩序不好，老师也觉得麻烦，但出于试卷安全和出现事故的时候时候追查的需要，这些也避免不了；

2.解决设想

采用人脸识别技术将可领取试卷的人员范围锁定在在职在校的教师范围，确保领卷的人是教师；
采用与教务数据联动将教师中在指定时间可领取试卷的范围进一步收缩到2~3人内，确保领卷的人是监考教师；
采用语音播报方式，可实现领卷教师与寻卷的工作人员不见面，尽量分离工作人员与领取人；
采用高速队列转发，人脸识别后2秒内实现语音播报，提高工作效率；
实时统计领取进展情况，提升工作效度；
记录领卷元数据，识别结果直接记录到数据库，无需教师领卷签字，提升体验度；

3.解决方案

采用海康明眸系列产品，可承载3000个人脸3秒内识别；
将人脸识别设备接入海康9600集中管理平台，并在重点目标库中建立好人脸数据和教工工号姓名等基础数据；
编写海康队识别转发试卷领取平台队列的模块，通过监听海康识别结果的消息队列，将消息转发到试卷领取平台的队列，来实现人脸识别的数据结果采集；
编写转换函数，调用海康的restful api，将队列中识别结果的cardno转换成9600平台登记的教师工号；
编写一个websoket服务模块，监听试卷领取平台队列，从试卷领取队列pop出cardno，调用转换函数转换成工号，使用工号在监考数据中检索监考教师，检索到数据的广播给所有连接的客户端，检索到教师信息的但是没有监考安排的创建“无监考”消息广播给客户端，检索不到的丢弃；
编写client web ui，使用websocket连接服务器，获取实时推送的人脸识别结果后的监考信息，语音播报当前场次中，需要领取试卷的房间号（也可以播报别的，但是播报房间号最有利于找卷子）；
使用VUE来显示websocket接受到的广播信息，显示在web UI上；
试卷领取后，寻卷人点击“领取”按钮，web 页面发起请求通知web服务器某个试卷已经被领取走；
数据服务，已经领取试卷的数据，待领取试卷的数据，统计图等，略！

4.技术要点

海康给的sdk的包非常老，比较难直接与目前主流的springboot整合，所以把与海康通讯的部分单独成一个可运行的模块。为了开发方便，将需要的一些jar包先注册到本地的maven库，然后再使用maven项目来管理代码和打包，效果不错；

4.1 注册 jar包到本地的 maven 库

这个步骤也比较重要，因为 jar 包比较老，直接使用 maven 从网络引用，我试过几次都不成功，对应的版本已经引不到，但是不用 maven 的方式打包和管理有比较复杂，所以最后还是使用了注册本地库的方式，一劳永逸。

mvn install:install-file -Dfile=/lutra_face/hikang/libs/commons-lang3-3.3.2.jar -DgroupId=org.apache.commons -DartifactId=commons-lang3 -Dversion=3.3.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/commons-logging-1.1.1.jar -DgroupId=org.apache.commons -DartifactId=commons-logging -Dversion=1.1.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/ivms6-cms-core-1.3.2-SNAPSHOT.jar -DgroupId=com.hikvision.ivms6 -DartifactId=ivms6-cms-core -Dversion=1.3.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/jms-api-1.1-rev-1.jar -DgroupId=javax.jms -DartifactId=jms-api -Dversion=1.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/junit-4.8.2.jar -DgroupId=org.junit -DartifactId=junit -Dversion=4.8.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/log4j-1.2.17.jar -DgroupId=org.apache.log4j -DartifactId=log4j -Dversion=1.2.17 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.asm-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.asm -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.beans-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.beans -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.context.support-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.context.support -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.context-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.context -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.core-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.core -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.expression-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.expression -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.jms-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.jms -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.test-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.test -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.transaction-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.transaction -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/protobuf-java-2.3.0.jar -DgroupId=protobuf -DartifactId=protobuf-java -Dversion=2.3.0 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/slf4j-api-1.7.5.jar -DgroupId=slf4j -DartifactId=slf4j-api -Dversion=1.7.5 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/slf4j-log4j12-1.7.5.jar -DgroupId=log4j12 -DartifactId=slf4j-log4j12 -Dversion=1.7.5 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/tlclient-8.1.jar -DgroupId=tlclient -DartifactId=tlclient -Dversion=8.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/TLQRemoteApi-8.1.jar -DgroupId=TLQRemoteApi -DartifactId=TLQRemoteApi -Dversion=8.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/TongJMS-8.0.jar -DgroupId=TongJMS -DartifactId=TongJMS -Dversion=8.0 -Dpackaging=jar

4.2 海康消息队列的监听和消息分析

首先需要装配一个消息队列的工厂类和消息的转换类，都使用海康 sdk 的默认类的实现即可。不展开；然后用给定 sdk 的 xml 配置装配一个消费者就可以使用了。

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="
            http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd">

    <bean id="mqComponentFactory" class="com.hikvision.ivms6.cms.core.mq.component.MqComponentFactory">
        <property name="brokeUrl" value="tlkq://IP:端口"/>
        <property name="mqComponentType" value="tonglinkq"/>
        <property name="jndiConnectFactoryName" value="RemoteConnectionFactory"/>
    </bean>
    <bean id="simpleMessageConverter" class="com.youliaoo.lutraface.HKConfig.HKSimpleMessageConverter"/>
    <bean id="commonConsumer" class="com.youliaoo.lutraface.HKConfig.CommonConsumer">
        <property name="destionName" value="usp.eds.publish.topic"/>
        <property name="topicFlag" value="true"/>
        <property name="eventReportConvert" ref="simpleMessageConverter"/>
        <property name="mqComponentFactory" ref="mqComponentFactory"/>
    </bean>
</beans>

在监听消息队列的消费者类的消息处理这里，我们仅仅做了一个队列消息的转发，将拿到的消息简单根据 sdk 的指引，解析一个 cardno 然后就推送到我们自己的 redis 缓存队列中去了。把与海康的平台耦合从这里解耦。（PS：但是由于明眸系列还需要再回到9600平台去做一次 cardno 和工号的转换，这里还是解的不彻底，但是如果在消息平台转发平台直接再次去做一次 http 请求，我觉得这个组件的层级设定又有些抽象的高了些，所以索性就简单做基础操作吧）

/**
     * 接受处理消息recvLogMsgrecvLogMsg
     *
     * @param notify
     */
    public void processMsg(String notify) {
        try {
            //这里需要根据不同的业务规则和消息结构进行解析,目前使用人脸识别的重点对象识别消息,解析 cardno
            Document docResult = XmlUtil.parseXml(notify);//尝试获取 xml 结构
            //读取卡号
            Object cardno = XmlUtil.getByXPath("//EventNotify/describe/ExtEventInfo/CardNo", docResult, XPathConstants.STRING);
            if (!StrUtil.isEmpty(Convert.toStr(cardno))) {
                log.info("解析得到" + Convert.toStr(cardno));
                //将卡号推送到自己的消息队列,或者调用自己的 service,这里使用自己的消息队列转存一次.
                client.lpush("cardno", Convert.toStr(cardno));
            }
            Thread.sleep(10);
        } catch (Exception e) {
            log.error("处理上报的日志信息时出现异常", e);
        }
    }

最后再用一个 spring 跑一下


public class HKServer {
    public static void main(String[] args){
        ApplicationContext context        = new ClassPathXmlApplicationContext("classpath:applicationContext-mq.xml");
        CommonConsumer     commonConsumer = context.getBean(CommonConsumer.class);
        commonConsumer.start();
        while(true){
            try {
                Thread.sleep(10 * 60 * 1000);
            } catch (InterruptedException e1) {
                e1.printStackTrace();
            }
        }
    }
}

4.3在springboot中创建一个 websocket 服务器端

Websocket，服务器端发起对客户端的更新，必须使用这个东西，这里zk 做了前期的技术准备。

第一步需要注册ServerEndpointExporter

@Configuration
public class WebSocketConfig {
    @Bean
    public ServerEndpointExporter serverEndpointExporter() {
        return new ServerEndpointExporter();
    }

}

第二步建立自己的websocket服务

@ServerEndpoint(value = "/websocket/{pwd}")
@Component
public class MyWebSocket {
    //concurrent包的线程安全Set，用来存放每个客户端对应的MyWebSocket对象。
    public static CopyOnWriteArraySet<MyWebSocket> webSocketSet = new CopyOnWriteArraySet<MyWebSocket>();
    //静态变量，用来记录当前在线连接数。应该把它设计成线程安全的。
    private static int onlineCount = 0;
    //与某个客户端的连接会话，需要通过它来给客户端发送数据
    private Session session;
    /**
     * 群发自定义消息
     * */
    public static void sendInfo(String message) throws IOException {
        for (MyWebSocket item : webSocketSet) {
            try {
                item.sendMessage(message);
            } catch (IOException e) {
                continue;
            }
        }
    }

    public static synchronized int getOnlineCount() {
        return onlineCount;
    }

    public static synchronized void addOnlineCount() {
        MyWebSocket.onlineCount++;
    }

    public static synchronized void subOnlineCount() {
        MyWebSocket.onlineCount--;
    }

    /**
     * 连接建立成功调用的方法*/
    @OnOpen
    public void onOpen(Session session,@PathParam("pwd") String pwd) throws IOException {
        if (pwd.equals("")) {
            this.session = session;
            webSocketSet.add(this);     //加入set中
            addOnlineCount();            //在线数加1
            System.out.println("有新连接加入！当前在线人数为" + getOnlineCount());
//            sendMessage("连接成功");
        } else {
            session.getBasicRemote().sendText("认证失败,无法连接");
            session.close();
        }
    }

    /**
     * 连接关闭调用的方法
     */
    @OnClose
    public void onClose() {
        if(webSocketSet.remove(this)) {  //从set中删除
            subOnlineCount();           //在线数减1
            System.out.println("有一连接关闭！当前在线人数为" + getOnlineCount());
        }
    }

    /**
     * 收到客户端消息后调用的方法
     *
     * @param message 客户端发送过来的消息*/
    @OnMessage
    public void onMessage(String message, Session session) {
        System.out.println("来自客户端的消息:" + message);

//        //群发消息
//        for (MyWebSocket item : webSocketSet) {
//            try {
//                item.sendMessage("OK");
//            } catch (IOException e) {
//                e.printStackTrace();
//            }
//        }
    }

    @OnError
    public void onError(Session session, Throwable error) {
        System.out.println("发生错误");
        error.printStackTrace();
    }

    public void sendMessage(String message) throws IOException {
        this.session.getBasicRemote().sendText(message);
        //this.session.getAsyncRemote().sendText(message);
    }
}

第三步在网页上建立 websocket 连接

// region websocket
        //判断当前浏览器是否支持WebSocket
        if ('WebSocket' in window) {
            websocket = new WebSocket("[[${host}]]/[[${password}]]");
        } else {
            ('不支持websocket')
        }
        //连接发生错误的回调方法
        websocket.onerror = function () {
            console.log("连接服务器异常")
        };

        //连接成功建立的回调方法
        websocket.onopen = function (event) {
            console.log(event);
        }
        //连接关闭的回调方法
        websocket.onclose = function () {
            console.log("关闭连接")
        }

        //监听窗口关闭事件，当窗口关闭时，主动去关闭websocket连接，防止连接还没断开就关闭窗口，server端会抛异常。
        window.onbeforeunload = function () {
            websocket.close();
        }
        //endregion
        //接收到消息的回调方法
        websocket.onmessage = function (event) {
            var jsonstr = event.data;
            var obj = JSON.parse(jsonstr);
            if(obj.code!="0"){
                voiceText("无监考信息！");
            }else{
                voiceText(changeCnNum(obj.data.JSMC)+"——领取试卷");
                vm.rows.push(obj.data);
            }
            console.log(voiceArray);
        }

4.4 HTML语音播报技术

为了提高领取试卷的效率，平台设计了这样的功能，识别后直接语音通知寻卷工作人员需要领取的试卷所在的考场号。

/**
         * baidu 文字转语音 API 实现 html javascript 的播报语音函数
         * @param str
         */
        function voiceText(str){
            var url = "http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&text=" + encodeURI(str);
            var audio = new Audio(url);
            audio.src = url;
            audio.volume =1;
            audio.speed=0.6;
            audio.play();
        }

用 javascript 接收到识别结果后这里有个小技巧，因为使用的百度的文字转语音的 api 所以对于房间号码比如404，中文读取四零四，直接调用会念成4百零4，不符合一般的认知，所以需要改写一下才能使用。

    var nums =["0","1","2","3","4","5","6","7","8","9"];
    var cnnums =["零","一","二","三","四","五","六","七","八","九"]
   /**
         * 将教室中的数字转换成中文added by jy 2019-01-05 ,符合中文的读法！
         * @param numstr
         * @returns {string}
         */
        function changeCnNum(numstr){
            var numArray = numstr.split("");
            var newArray = [];
            _.forEach(numArray,function(v){
                var index = _.indexOf(nums,v);
                if(index>=0){
                    newArray.push(cnnums[index]);
                }else{
                    newArray.push(v);
                }
            });
            return newArray.join("");
        }

最后

系统上线后领卷的人非常开心，难得的是老师也非常开心，因为海康硬件强大的识别能力，老师们很高兴10多年前的自己仍然还是自己，（照片比较久远），当然也有不开心的，比如自己学生时代的照片再拿出来跟现在的自己相比有些就不能识别了，因为胖了或其他想法，其实不是的，我知道！
由于没有特意进行采集，所以有部分教师的相片无法识别，识别的最低要求是照片眼睛间距80像素以上，但是事实上，我们导入的图片还有相当多的不符合规格的数据，这个还需要改进；
由于测试阶段，所以对于场地没有进行特意的规划，所以现场老师要走到比较深的位置才能接近人脸识别设备，这个与设计的工作流程稍有不同，下一次做一个梳理，并在现场做好数据采集工作；
国内百度无法告诉我，我们是不是第一个做到的，但是貌似我们这么做，效果很好，老师和工作人员都轻松，而且更安全了不是么？代价很低，一个明眸硬件8K 以内，施工1天，数据整理和代码编写，沟通，调试5天。上线了！记录于此！

最后编辑于：2019.01.14 15:01:15

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,372评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,368评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,415评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,157评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,171评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,125评论 1赞 297
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,028评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,887评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,310评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,533评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,690评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,411评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,004评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,659评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,812评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,693评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,577评论 2赞 353