概念
VR
虚拟现实（Virtual Reality）就是让你看到一个三维的虚拟世界。一般由计算机生成这个虚拟世界。
AR
增强现实（AugmentedReality）就是让你看到一个添加虚拟信息的真实世界。
MR
混合现实（Mixed Reality）类似AR，但虚拟的部分相对位置会变化，和真实部分无法区分。
内容呈现
3d建模场景制作
目前虚拟场景建模方法主要有三类：基于几何图形绘制的建模技术、基于图像绘制的建模技术以及基于图形与图像的混合建模技术。
基于几何图形的绘制建模方法，是在计算机中建立起三维几何模型,将三维的几何描述转换为特定视点下的二维视图,使用计算机的硬件功能和相应的绘制算法,实现消隐、光照、明暗处理及投影等过程,从而生成场景物体。
基于图像绘制(Image一BasedRendering,简称IBR)的方法,通过利用场景的图像(照片、渲染图像等)来建立场景的几何模型,更准确地说,就是利用图像来确定场景的外观，场景的几何结构、光照模型等利用该方法建模变得更快、更方便,同时可以获得更高的绘制速度和高度的真实感。
- 全景图技术是基于图像的绘制技术中最成熟最接近实用的技术,主要是通过对图像的拼接,实现对场景的环视。通常有两种方式来获得全景图:直接的方式和图像拼接的方式。前者主要是通过特殊鱼眼相机、全景相机等特殊器材来获得,但是这些器材价格昂贵。后者是通过将普通相机拍摄的多幅有重叠区域的图像利用一定的拼接的算法拼合起来。
- 基于图像的建模技术注重虚拟场景的视觉真实性,但由于虚拟场景中是二维对象,用户很难与之交互,而用户希望与之产生交互作用的场景对象必须是几何模型实体,因此需要进行混合建模。混合建模的基本思想是:首先对几何模型进行绘制,得到若干帧具有深度及几何拓扑关系的图像后,再对模型进行修正,最后得到以图像形式表示的几何模型。这样既增加了场景真实感,保证了实时性与交互性,提高了用户的沉浸感。习惯上把运用基于图像的建模技术将真实三维环境转变为虚拟世界三维环境的过程,称为实物虚化;而经过基于图形绘制的建模技术把人们头脑中的主观意义上的概念对象转变为虚拟世界中可感知和可操作对象的过程称为虚物实化。实物虚化和虚物实化是虚拟场景混合建模中具有不同目的的矛盾而又统一的两个方面,只有虚实结合才可创建既有真实感、又可交互的复杂虚拟场景。
在虚拟场景中,虚拟实体对象与纯粹虚对象在位置关系、光照与阴影关系、相互作用物理规律仿真等方面的精确匹配称为虚实无缝连接。它对虚拟场景混合建模技术提出了很高的要求，另外虚拟现实注重图像绘制的实时性,当用户对虚拟场景中物体进行操作时,操作的响应信息应该能及时反馈给用户,同时当用户的位置和视角发生改变时,能实时生成新的视点图像,并显示给用户"虚实无缝连接及实现的实时性主要体现在混合场景中几何实体对象与IBMR(ImageBasedMedelingandRending)对象在虚拟环境中的空间关系与透视匹配,亮度及阴影的光照匹配,对象融合与动态掩模。
实景拍摄
背景：全景视频
为了能够让用户身临其境，更加真实，开发成本更低，采用播放全景视频的方式建设场景的背景。用全景摄像头到真实的环境中拍摄视频，然后在vr里面播放。也就是说你在vr里看到的真实场景，是别人去那里拍来给你看的。你在vr里面用转头等交互来移动时，就是在播放视频，只是播放的方式由你当前的状态决定。比如你一个全景视频的vr世界里，你看到的是全景视频的一部分，当你左右转头的时候视频播放的部分也就左右移动，当你前进后退时视频也正反播放。
交互图形：OpenGL绘制
光看视频是不够的，视频上面还有添加许多界面元素，这就要靠OpenGL。当视频在播放时，每一帧都会有一个回调，在回调时把一些界面元素画上去。这样在播放视频的同时，视频只上也会有许多添加的元素。
在组织界面元素时，通过构建树的形式来存储渲染的内容。每个节点记录了三维坐标值，在画的时候渲染到二位的图层上。这里使用的就是几何图形的绘制建模方法。
整个过程看似很简单，但每个细节的理解都需要大量的知识储备，后面再慢慢整理。
