作者：Zero，腾讯测试开发工程师。本文由腾讯WeTest授权发布，如需转载请联系腾讯WeTest获得授权。
WeTest导读
Pokémon Go一出，新鲜的玩法、经典的IP效应让这款使用了Unity以及AR技术的手游火遍了“大洋”南北。可惜的是这款新鲜的游戏还没有惠及中国市场的玩家们。腾讯内部的AR专家秉持着“一言不合就自己开发”的原则，自发对AR游戏进行了预研，本文将通过在Unity中对OpenCV及Vuforia库的使用，简单介绍制作AR游戏的一系列流程。如果你在街头巷尾看到这样拿着手机到处晃悠的景象他们一定是在抓小精灵！!
增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。简单的说，在Pokémon Go这款AR游戏中，精灵是虚拟的， 地图是真实的，虚拟的精灵出现在了真实的地图之中，给了玩家十分新鲜的体验。
于是Pokemon Go拯救了无数的死宅们，大家上街抓；
然而！腾讯的技术大牛在遇到新鲜事物的时候是拦不住的！秉持着“一言不合就自己开发”的原则，大牛决定，自己做一个AR游戏！！Pokémon Go的游戏引擎用到了Unity技术，在腾讯大牛预研的AR游戏中，分别用到了OpenCV及Vuforia库，下面将简单分享下两个库的使用。
一、OpenCV篇
OpenCV是英特尔发起并参与开发的计算机视觉库，在图像处理、模式识别及计算机视觉领域被广泛使用，这里就不做过多介绍了。
1.1 OpenCVForUnity
Unity有现成的OpenCV库，使用起来很方便。具体使用方法：1.导入OpenCV for Unity.unitypackage2.将导入后OpenCVForUnity目录下的Plugins和StreamingAssets文件夹移到Assets目录下OpenCVForUnity目录下的Samples里有很多写好的示例，比如阈值分割、霍夫变换检测直线、人脸检测等，如果想运行需要在Build Settings里添加好对应场景，其中有的需要用到摄像头。1.2 OpenCV在Unity中的应用
背景是组里基于Unity做的一个AR小游戏——打飞碟，其中使用OpenCV实现了红外效果及人脸检测：红外模式：当场景中出现了半透明的敌机时，可开启红外模式看清隐形敌机的位置。这里主要用OpenCV对摄像头获取的图像做了颜色变换：首先将图像转为灰度图(cvtColor)，然后基于某个色谱，根据不同的灰度值映射为不同的颜色(applyColorMap)。对于此类滤镜也可以通过Unity的Shader来做（如下图），相比OpenCV性能要好些，但OpenCV做图像处理更灵活，也可以尽量去优化：
1.限制图像的更新频率；
2.降低图像的分辨率（OpenCV可以用resize）；
3.对于必要的Mat可以在类初始化时申请好空间，不用每次处理图像都申请再释放；
好友助战模式是检测到人脸后，在人脸上添加一些装饰物（copyTo用装饰物的PNG图片做掩膜）作为剧情的一部分；而面具怪则是根据检测到人脸的位置和大小来改变怪物的位置和大小。此外，如果进一步需要进行人脸识别，那不建议在移动设备上做，性能肯定吃不消了，可以用云，将计算放在服务器上。
二、Vuforia篇
Vuforia是高通的增强现实库，对unity支持好，使用起来简单方便，如下图所示为组内使用Unity+Vuforia开发的坦克大战AR版：通过识别预先设定的标志物（此处为lena头像），从而确定游戏世界所在的平面及大小，和实景结合展现出坦克大战游戏场景。简要介绍下Vuforia在Unity中的使用：
1.在官网注册账号后，首先注册一个License，并记下License Key；
![]()
![]()
2.下载Vuforia库导入到Unity中；
3.选取一张待识别图片上传到Target Manager，如下图所示创建Database：
![]()
添加待识别图片：
![]()
4.生成库后，注意Rating的星级，越高越好（识别度越高）；将库下载下来导入到Unity中。
![]()
![]()
5.在Unity中搜索ARCamera和ImageTarget，并拖到场景中，ARCamera中的App License Key填入刚才申请的License Key，Database Load Behaviour(Script)中勾选”Load QQ Database”（这里根据Database的名字有所不同）和”Activate”，在ImageTarget中的Database选择刚才申请的识别图片Database的名字(QQ)，此时场景中会出现识别图片
![]()
![]()
6.根据识别图片(ImageTarget)的相对位置将游戏物体或场景作为ImageTarget的子物体进行摆放。
![]()
![]()
7.按照上述步骤即可在Unity中简单使用Vuforia库，如果有更多需求可以去了解下它的其他功能及API；
例如，为了增强识别效果，可以加入摄像头的对焦：
Vuforia.CameraDevice.Instance.SetFocusMode(Vuforia.CameraDevice.FocusMode.FOCUS_MODE_TRIGGERAUTO);在实际使用中，Vufroia库简单易用，识别准确度较高，对手机性能消耗适中，但构建的虚拟场景容易因环境干扰发生一定抖动，影响玩家游戏体验；可同时识别多个物体，但准确度有所降低；长时间游戏会导致摄像头发烫。
8.Unity游戏优化工具
为了避免以上手游性能方面对游戏的负面影响，可以利用一些现成的测试工具进行深度的检测，腾讯WeTest平台下的Cube工具可以帮助开发者发现游戏内分类资源的一个占用情况，尤其是对游戏场景中的FPS、CPU、PSS的变化趋势重点关注，帮助在游戏开发过程中不断改善玩家的体验。目前功能还在免费开放中。
体验地址：http://wetest.qq.com/cube
关于测试报告的问题：http://wetest.qq.com/guide/view/?id=267
使用帮助：http://wetest.qq.com/guide/view/?id=266
常见问题：http://wetest.qq.com/guide/view/?id=268
