当前位置:首页 > 智能硬件 > vr|ar|虚拟现实
[导读] 日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实

日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实践与见解,并主要涉及社交方面。下面是映维网的具体整理:

无可否认,将用户带到一个完全不同的世界,并突破物理空间的规则是VR的终极超级能力。然而,人们经常忽略VR的另一个显著优势:用户可以随时随地地与朋友相聚,游乐和学习。正如Boost VR的亚当·德雷珀(Adam Draper)所说,VR的杀手级应用是“身临其境”。

归属感和与他人建立联系的感觉包含多个方面。在VR中,这意味着你能够拥有一个具身化的虚拟角色,并与其他用户的具身化角色进行交互。

1. 为何是虚拟化身?

虚拟化身的概念并不新鲜,但这VR而言非常重要。在VR中进行交互的人们主要是通过虚拟化身实现,原因主要包括:

由于佩戴VR头显,所以一般无法看见用户的面容。这要求我们通过虚拟化身的形式来在VR中进行表达性交流。在VR中录制人物需要外部摄像头。正面的混合现实看起来略显奇怪,因为头显会遮住眼睛和大多数面部表情。这允许用户创建属于自己的虚拟表示,不受现实自我的限制。虚拟化身是用于个人表达的创意画布。

2. Oculus的Expressive Avatars是如何提升我们的《DJ School》体验

Tribe XR提供用于习得创意技能的沉浸式教学。利用我们的首款产品《Tribe XR DJ School》,任何人都可以学习成为DJ,掌握混音技巧,并为VR平台(如VR Chat),以及Twitch,Facebook Live和YouTube Live等直播平台为实时表演。Oculus Avatars是我们产品的“面容”,是用户体验的重要组成要素。

尽管最初的Oculus Avatars存在一定的局限,但Expressive Avatars带来了一系列的功能,并使其成为社交VR体验的重要拼图:

1.能够看着观众的双眼营造了一种联结感

2.动画嘴巴和嘴唇增强了对话的真实感

3.诸如微笑和鬼脸等面部表情可以传达情感

所述的新功能可以营造一种临场感,从而增加体验的真实感,并在总体上改善整体的社交感受。对于Tribe用户而言,这可以转化为更高效的学习体验。

对于Tribe而言,师生之间的联系至关重要。任何对虚拟化身真实感的提升都能够优化学习体验。它增加了课程的价值,并帮助我们实现了一个关键目标:在学生和老师之间建立联系。

另一个提升了学生体验的功能是注视点建模。当老师与学生交谈,并指导其操作打碟机的特定按钮或滑块时,能够注视按钮位置的能力可以提高课程效率。Tribe已经启用了视觉提示,比如说虚拟激光笔,而注视点建模可进一步提高教学效率。

这是否能够克服恐怖谷理论呢?不尽然,但全新的Expressive Avatars足以提炼出一定的真实感。对我们来说,包含双眼的虚拟化身显然更有吸引力。锦上添花的功能是社区成员可以选择添加酷炫太阳镜的能力。

3. 利用Oculus Avatars来实现一个学习平台

Tribe的社交平台不单单局限于用户通过Oculus Avatars选择自己的形象:事实上,这只是旅程的起点。在Tribe中,用户可以通过多种方式来利用虚拟化身:自己进行混音时,与老师一起上课时,与朋友进行游乐时,以及通过实时直播平台来为全世界的观众进行表演时。

3.1 1对1课程/小组课程

个人和小组课程可以同步进行或异步进行。我们利用Oculus的Expressive Avatars SDK来支持老师和学生创建逼真的虚拟化身,从而令参与“交流”的每位用户都可以轻松地识别自己和老师。

在下面的屏幕截图中,我们的一名入驻DJ Ellaskins正通过YouTube直播教学。Ellaskins是有名的Youtube DJ导师。自2006年以来,他就通过提供免费的DJ课程(包括基础知识和进阶技术)建立了将近20万的粉丝群体。利用Oculus Avatar,DJ Ellaskins能够以有趣且逼真的方式来与学生和YouTube观众进行交流。虚拟化身,虚拟打碟机,以及定制的camera视图允许使Ellaskins轻松传授技巧,并方便学生轻松跟随。另外,面部动画和面部表情提升了虚拟化身的真实感,有助于克服恐怖谷理论带来的挑战。

3.2 多人DJ

借助Tribe的多人游戏模式,社区成员可以在实时会话中合作创建DJ舞台。用户可以轮流作为DJ或一起操作虚拟打碟机。借助Oculus Avatars,用户可以创建自己喜欢的虚拟化身,并令多人DJ变得更为有趣。

3.3 实况直播

Tribe XR的目标之一是允许学生练习表演。我们的众多DJ学员都是通过Twitch和其他平台实时流媒体平台学习现场表演。我们的老师同时为实时流媒体平台创建了课程内容,而DJ Ellaskins就是其中一个例子。

Twitch的Tribe直播允许粉丝通过文本,GIF和表情来与DJ导师互动。借助虚拟化身,导师可以充分表达自己的创意,并营造难忘的表演时刻。

4 技术限制

我们利用了Unreal引擎和Oculus SDK的Peer-to-Peer Networking和VoIP来支持多人体验。

如果你已经在使用跨平台的Oculus Avatars SDK,实现Expressive Avatars对你来说应该非常简单。要升级到Expressive Avatars,你只需用新版本Avatars替换旧版本。我们的大多数优化都是诸如调整注视点之类的元素,从而令其与我们的环境和打碟机完美配合。

Tribe利用了UE4 Oculus Avatar插件来进行自定义修改,例如令身体对第三人称camera可见,但对玩家不可见(因为这可能会阻碍打碟机的视图)。我们为与Oculus Avatar插件进行接口的Pawns提供了一个自定义组件,处理生成的虚拟化身并在网络之间复制它们。我们同时更新了Avatar组件,用Oculus Avatars的口形同步插件来为虚拟化身的嘴巴设置动画,并且添加了注视点目标,从而允许虚拟化身的双眼进行聚焦。

我们同时在其他VR平台实现了Oculus Avatars。为此,我们通过复制Oculus的Unity指令来将必需的库和asset打包。然后,我们修改了Avatar插件,使用本地库副本来支持未安装Oculus Home的非Oculus用户。

我们最后更新了Avatar插件,通过为头部和手部位置使用UE4的通用接口,我们允许非Oculus头显和控制器对虚拟化身进行正确的追踪和动画处理。这样,虚拟化身支持UE4兼容的所有VR API,包括支持SteamVR的所有设备。我们添加了一个自定义菜单,允许用户可以在12个默认的Oculus Expressive虚拟化身之间进行选择。我们同时计划在不久的将来为Tribe提供特殊的默认虚拟化身。

5. Tribe接下来的计划

我们的目标是继续为创新技能提供沉浸式课程,并以多人体验作为关键特色。我们对Oculus Expressive Avatars以及它们能够增强小组课程的方式感到非常兴奋。我们同时期待开发更多的自定义选项,从而允许直播方能够在VR中创建属于自己的DJ品牌和角色。《Tribe XR DJ School》目前已经支持Oculus Rift和Oculus Quest。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: 驱动电源

在工业自动化蓬勃发展的当下,工业电机作为核心动力设备,其驱动电源的性能直接关系到整个系统的稳定性和可靠性。其中,反电动势抑制与过流保护是驱动电源设计中至关重要的两个环节,集成化方案的设计成为提升电机驱动性能的关键。

关键字: 工业电机 驱动电源

LED 驱动电源作为 LED 照明系统的 “心脏”,其稳定性直接决定了整个照明设备的使用寿命。然而,在实际应用中,LED 驱动电源易损坏的问题却十分常见,不仅增加了维护成本,还影响了用户体验。要解决这一问题,需从设计、生...

关键字: 驱动电源 照明系统 散热

根据LED驱动电源的公式,电感内电流波动大小和电感值成反比,输出纹波和输出电容值成反比。所以加大电感值和输出电容值可以减小纹波。

关键字: LED 设计 驱动电源

电动汽车(EV)作为新能源汽车的重要代表,正逐渐成为全球汽车产业的重要发展方向。电动汽车的核心技术之一是电机驱动控制系统,而绝缘栅双极型晶体管(IGBT)作为电机驱动系统中的关键元件,其性能直接影响到电动汽车的动力性能和...

关键字: 电动汽车 新能源 驱动电源

在现代城市建设中,街道及停车场照明作为基础设施的重要组成部分,其质量和效率直接关系到城市的公共安全、居民生活质量和能源利用效率。随着科技的进步,高亮度白光发光二极管(LED)因其独特的优势逐渐取代传统光源,成为大功率区域...

关键字: 发光二极管 驱动电源 LED

LED通用照明设计工程师会遇到许多挑战,如功率密度、功率因数校正(PFC)、空间受限和可靠性等。

关键字: LED 驱动电源 功率因数校正

在LED照明技术日益普及的今天,LED驱动电源的电磁干扰(EMI)问题成为了一个不可忽视的挑战。电磁干扰不仅会影响LED灯具的正常工作,还可能对周围电子设备造成不利影响,甚至引发系统故障。因此,采取有效的硬件措施来解决L...

关键字: LED照明技术 电磁干扰 驱动电源

开关电源具有效率高的特性,而且开关电源的变压器体积比串联稳压型电源的要小得多,电源电路比较整洁,整机重量也有所下降,所以,现在的LED驱动电源

关键字: LED 驱动电源 开关电源

LED驱动电源是把电源供应转换为特定的电压电流以驱动LED发光的电压转换器,通常情况下:LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: LED 隧道灯 驱动电源
关闭