MixedRealityToolkit-Unity:MR应用必用神器

洪流学堂,让你快人几步。你好,我是你的技术探路者郑洪智,你可以叫我大智。
本篇文章首发于我的公众号:洪流学堂

MRTK-Unity是一个由Microsoft驱动的开源项目,提供了多种组件和功能,用于加速Unity中的跨平台MR应用程序开发。以下是其一些功能:

  • 提供跨平台输入系统和用于空间交互和UI组件
  • 启用快速原型通过在编辑器中的模拟,让你马上看到变化。
  • 作为可扩展框架运行,为开发人员提供了交换核心组件的能力。
  • 支持多种平台,包括
  • HoloLens
  • HoloLens 2
  • Windows Mixed Reality头盔
  • OpenVR头盔(HTC Vive / Oculus Rift)
  • Ultraleap手部跟踪
  • iOS和Android等移动设备

MRTK入门

如果您不熟悉Unity中的MRTK或Mixed Reality开发,建议从 Microsoft Docs的Unity开发旅程文档开始。Unity开发之旅是专门为使新开发人员了解MRTK的安装,核心概念和使用而量身定制的。

重要信息:Unity开发过程当前使用MRTK版本2.4.0Unity 2019.4

所需软件

Windows SDK 18362+
Unity 2018.4.x
Visual Studio 2019
仿真器(可选)
要使用MRTK v2生成应用程序,您需要Windows 10 May 2019 Update SDK。 要运行沉浸式耳机的应用程序,您需要Windows 10 Fall Creators Update。 Unity 3D引擎为在Windows 10中构建混合现实项目提供支持 Visual Studio用于代码编辑,部署和构建UWP应用程序包 模拟器可让您在模拟环境中在没有设备的情况下测试您的应用

功能

输入系统
手部追踪(HoloLens 2)
眼动追踪(HoloLens 2)
设置
手部追踪(Ultraleap)
UI控件
解算器
多场景管理
空间感知
诊断工具
MRTK标准着色器
语音合成与识别
边界系统
编辑器内模拟
实验功能

UX组件

按钮
边界控制
对象操纵器
一个按钮控件,支持各种输入方法,包括HoloLens 2的带关节的手 用于处理3D空间中对象的标准UI 用一只手或两只手操纵对象的脚本
Slate
系统键盘
可交互物体
2D样式平面,支持通过手动输入进行滚动 在Unity中使用系统键盘的示例脚本 使对象与视觉状态和主题支持可交互的脚本
解算器
对象集合
工具提示
各种对象定位行为,例如标签沿,身体锁定,恒定的视图大小和表面磁性 用于以三维形状布置对象阵列的脚本 具有灵活锚定/轴系统的注释UI,可用于标记运动控制器和对象
滑杆
MRTK标准着色器
手菜单
滑块UI,用于调整值,支持直接的手部跟踪交互 MRTK的标准着色器支持各种Fluent设计元素,并具有出色的性能 手动锁定用户界面,使用“手动约束求解器”可快速访问
应用栏
指针
指尖可视化
用于Bounds Control手动激活的UI 了解各种类型的指针 指尖上的视觉承受能力提高了直接交互的信心
近场菜单
空间感知
语音命令/听写
浮动菜单用户界面,用于近距离交互 使您的全息对象与物理环境互动 集成语音输入的脚本和示例
进度指标
对话框[实验]
手势教练[实验性]
可视指示器,用于传达数据过程或操作 要求用户确认或确认的UI 在未教手势时帮助引导用户的组件
手部物理[实验性]
滚动收藏
Dock[实验性]
手部物理服务可实现刚体碰撞事件以及与关节手的相互作用 原生滚动3D对象的对象集合 Dock允许将对象移入和移出预定位置
眼动追踪:目标选择
眼动追踪:导航
眼动追踪:热图
结合眼睛,声音和手部输入,快速轻松地选择整个场景中的全息图 了解如何根据您的查看内容自动滚动文本或流畅地放大重点内容 记录,加载和可视化用户在您的应用程序中查看内容的示例

工具类

优化窗口
依赖窗口
构建窗口
输入录音
自动配置混合现实项目以优化性能 分析资产之间的依存关系并识别未使用的资产 为混合现实应用程序配置并执行端到端构建过程 在编辑器中记录和回放头部运动和手部跟踪数据

场景示例

在此示例场景中,探索MRTK的各种类型的交互和UI控件。

可以在Assets / MixedRealityToolkit.Examples / Demos文件夹下找到其他示例场景。

MRTK示例中心

使用MRTK示例中心,可以尝试MRTK中的各种示例场景。可以在Release Assets文件夹下找到HoloLens(x86),HoloLens 2(ARM)和Windows Mixed Reality沉浸式耳机(x64)的预构建应用程序包。使用Windows设备门户在HoloLens上安装应用程序。在HoloLens 2上,可以通过Microsoft Store应用程序下载并安装MRTK示例中心。

请参阅示例中心自述页面,以了解有关使用MRTK的场景系统和场景转换服务创建多场景中心的详细信息。

使用MRTK制作的示例应用

元素周期表是一个开源示例应用程序,演示了如何使用MRTK的输入系统和构建块为HoloLens和沉浸式耳机创建应用程序体验。阅读移植故事:通过MRTK v2将Elements的元素周期表引入HoloLens 2 Galaxy Explorer是一个开源示例应用程序,最初作为HoloLens“分享您的想法”活动的一部分于2016年3月开发。已使用MRTK v2更新了Galaxy Explorer的HoloLens 2新功能。阅读故事:HoloLens 2的Galaxy Explorer的制作 Surfaces是适用于HoloLens 2的开源示例应用程序,它探索了我们如何通过视觉,音频和完全铰接的手部跟踪来创造触感。在Surfaces应用程序中查看Microsoft MR Dev Days会话学习,了解详细的设计和开发故事。

源码链接
https://github.com/microsoft/MixedRealityToolkit-Unity

如果以上链接无法下载或者下载太慢,可以在洪流学堂回复MRTK获取网盘链接。

扩展阅读


我是大智,你的技术探路者,下次见!

别走!点赞收藏哦!

好,你可以走了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,402评论 6 499
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,377评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,483评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,165评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,176评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,146评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,032评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,896评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,311评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,536评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,696评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,413评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,008评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,815评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,698评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,592评论 2 353

推荐阅读更多精彩内容