当前位置:首页 > 智能硬件 > vr|ar|虚拟现实
[导读] 日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实

日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实践与见解,并主要涉及社交方面。下面是映维网的具体整理:

无可否认,将用户带到一个完全不同的世界,并突破物理空间的规则是VR的终极超级能力。然而,人们经常忽略VR的另一个显著优势:用户可以随时随地地与朋友相聚,游乐和学习。正如Boost VR的亚当·德雷珀(Adam Draper)所说,VR的杀手级应用是“身临其境”。

归属感和与他人建立联系的感觉包含多个方面。在VR中,这意味着你能够拥有一个具身化的虚拟角色,并与其他用户的具身化角色进行交互。

1. 为何是虚拟化身?

虚拟化身的概念并不新鲜,但这VR而言非常重要。在VR中进行交互的人们主要是通过虚拟化身实现,原因主要包括:

由于佩戴VR头显,所以一般无法看见用户的面容。这要求我们通过虚拟化身的形式来在VR中进行表达性交流。在VR中录制人物需要外部摄像头。正面的混合现实看起来略显奇怪,因为头显会遮住眼睛和大多数面部表情。这允许用户创建属于自己的虚拟表示,不受现实自我的限制。虚拟化身是用于个人表达的创意画布。

2. Oculus的Expressive Avatars是如何提升我们的《DJ School》体验

Tribe XR提供用于习得创意技能的沉浸式教学。利用我们的首款产品《Tribe XR DJ School》,任何人都可以学习成为DJ,掌握混音技巧,并为VR平台(如VR Chat),以及Twitch,Facebook Live和YouTube Live等直播平台为实时表演。Oculus Avatars是我们产品的“面容”,是用户体验的重要组成要素。

尽管最初的Oculus Avatars存在一定的局限,但Expressive Avatars带来了一系列的功能,并使其成为社交VR体验的重要拼图:

1.能够看着观众的双眼营造了一种联结感

2.动画嘴巴和嘴唇增强了对话的真实感

3.诸如微笑和鬼脸等面部表情可以传达情感

所述的新功能可以营造一种临场感,从而增加体验的真实感,并在总体上改善整体的社交感受。对于Tribe用户而言,这可以转化为更高效的学习体验。

对于Tribe而言,师生之间的联系至关重要。任何对虚拟化身真实感的提升都能够优化学习体验。它增加了课程的价值,并帮助我们实现了一个关键目标:在学生和老师之间建立联系。

另一个提升了学生体验的功能是注视点建模。当老师与学生交谈,并指导其操作打碟机的特定按钮或滑块时,能够注视按钮位置的能力可以提高课程效率。Tribe已经启用了视觉提示,比如说虚拟激光笔,而注视点建模可进一步提高教学效率。

这是否能够克服恐怖谷理论呢?不尽然,但全新的Expressive Avatars足以提炼出一定的真实感。对我们来说,包含双眼的虚拟化身显然更有吸引力。锦上添花的功能是社区成员可以选择添加酷炫太阳镜的能力。

3. 利用Oculus Avatars来实现一个学习平台

Tribe的社交平台不单单局限于用户通过Oculus Avatars选择自己的形象:事实上,这只是旅程的起点。在Tribe中,用户可以通过多种方式来利用虚拟化身:自己进行混音时,与老师一起上课时,与朋友进行游乐时,以及通过实时直播平台来为全世界的观众进行表演时。

3.1 1对1课程/小组课程

个人和小组课程可以同步进行或异步进行。我们利用Oculus的Expressive Avatars SDK来支持老师和学生创建逼真的虚拟化身,从而令参与“交流”的每位用户都可以轻松地识别自己和老师。

在下面的屏幕截图中,我们的一名入驻DJ Ellaskins正通过YouTube直播教学。Ellaskins是有名的Youtube DJ导师。自2006年以来,他就通过提供免费的DJ课程(包括基础知识和进阶技术)建立了将近20万的粉丝群体。利用Oculus Avatar,DJ Ellaskins能够以有趣且逼真的方式来与学生和YouTube观众进行交流。虚拟化身,虚拟打碟机,以及定制的camera视图允许使Ellaskins轻松传授技巧,并方便学生轻松跟随。另外,面部动画和面部表情提升了虚拟化身的真实感,有助于克服恐怖谷理论带来的挑战。

3.2 多人DJ

借助Tribe的多人游戏模式,社区成员可以在实时会话中合作创建DJ舞台。用户可以轮流作为DJ或一起操作虚拟打碟机。借助Oculus Avatars,用户可以创建自己喜欢的虚拟化身,并令多人DJ变得更为有趣。

3.3 实况直播

Tribe XR的目标之一是允许学生练习表演。我们的众多DJ学员都是通过Twitch和其他平台实时流媒体平台学习现场表演。我们的老师同时为实时流媒体平台创建了课程内容,而DJ Ellaskins就是其中一个例子。

Twitch的Tribe直播允许粉丝通过文本,GIF和表情来与DJ导师互动。借助虚拟化身,导师可以充分表达自己的创意,并营造难忘的表演时刻。

4 技术限制

我们利用了Unreal引擎和Oculus SDK的Peer-to-Peer Networking和VoIP来支持多人体验。

如果你已经在使用跨平台的Oculus Avatars SDK,实现Expressive Avatars对你来说应该非常简单。要升级到Expressive Avatars,你只需用新版本Avatars替换旧版本。我们的大多数优化都是诸如调整注视点之类的元素,从而令其与我们的环境和打碟机完美配合。

Tribe利用了UE4 Oculus Avatar插件来进行自定义修改,例如令身体对第三人称camera可见,但对玩家不可见(因为这可能会阻碍打碟机的视图)。我们为与Oculus Avatar插件进行接口的Pawns提供了一个自定义组件,处理生成的虚拟化身并在网络之间复制它们。我们同时更新了Avatar组件,用Oculus Avatars的口形同步插件来为虚拟化身的嘴巴设置动画,并且添加了注视点目标,从而允许虚拟化身的双眼进行聚焦。

我们同时在其他VR平台实现了Oculus Avatars。为此,我们通过复制Oculus的Unity指令来将必需的库和asset打包。然后,我们修改了Avatar插件,使用本地库副本来支持未安装Oculus Home的非Oculus用户。

我们最后更新了Avatar插件,通过为头部和手部位置使用UE4的通用接口,我们允许非Oculus头显和控制器对虚拟化身进行正确的追踪和动画处理。这样,虚拟化身支持UE4兼容的所有VR API,包括支持SteamVR的所有设备。我们添加了一个自定义菜单,允许用户可以在12个默认的Oculus Expressive虚拟化身之间进行选择。我们同时计划在不久的将来为Tribe提供特殊的默认虚拟化身。

5. Tribe接下来的计划

我们的目标是继续为创新技能提供沉浸式课程,并以多人体验作为关键特色。我们对Oculus Expressive Avatars以及它们能够增强小组课程的方式感到非常兴奋。我们同时期待开发更多的自定义选项,从而允许直播方能够在VR中创建属于自己的DJ品牌和角色。《Tribe XR DJ School》目前已经支持Oculus Rift和Oculus Quest。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

上海2024年5月20日 /美通社/ -- 仲夏伊始,光芒新生,5月17日,由上海工业商务展览有限公司主办的、以"拥抱新质生产力,助力新型工业化"为主题的第九届广东国际机器人及智能装备博览会(以下简称...

关键字: IAR 机器人 自动化 RS

2024年4月3日 – 专注于推动行业创新的知名新品引入 (NPI) 代理商™贸泽电子 (Mouser Electronics) 紧跟潮流,通过内容丰富的沉浸式技术资源中心,帮助工程师探索增强现实 (AR) 和虚拟现实...

关键字: VR AR 物联网

2024年3月5日 – 专注于推动行业创新的知名新品引入 (NPI) 代理商™贸泽电子 (Mouser Electronics) 推出内容全面的可穿戴资源中心,为设计人员和工程师提供紧跟潮流、值得信赖的资源。从智能手表和...

关键字: AR VR 可穿戴技术

业内消息,近日苹果Vision Pro头显正式在美国开售,该产品提供256GB(3499美元)、512GB(3699美元)、1TB(3899美元)三种存储容量供选择,起售价折合人民币的价格超过2.5万,目前已经开启线下预...

关键字: 苹果 Vision Pro 头显 VR

业内消息,近日有外媒称Meta已与腾讯达成初步协议,将在中国销售价位较低的新款Quest VR设备。据悉,腾讯将于明年末开始销售,销售收入中Meta将获得更高比例的硬件销售额,腾讯将在内容和服务收入中占据更多份额,如软件...

关键字: Meta 腾讯 VR

业内消息,近日网传爱奇艺旗下VR公司梦想绽放(奇遇VR)业务被爆已经陷入停摆状态,CEO数月前已离职。因为业务经营困难开启了新一轮裁员,年初170余人的团队,目前只剩下了40~50人,裁员比例高达70%。

关键字: 爱奇艺 VR 梦想绽放 裁员

11月7日消息,苹果计划在Mac和iPad Pro产品线引入OLED技术,并将推出更大屏幕的iMac。

关键字: 苹果 A17 台积电 VR

IDC数据显示,2022年中国AR/VR头显的出货量达到120.6万台。截止2022年第四季度,500美元以下的AR产品出货量占比接近90%。随着AR/VR技术的快速发展及设备价格的下降,其应用范围已从游戏娱乐进一步扩展...

关键字: AR VR 显示器

北京2023年9月22日 /美通社/ -- 华为全联接大会2023期间,在以"研发数字化和智慧生产,提速企业自主创新"专项论坛上,软通动力数字化创新服务线高级副总裁、数字基础设施与集成总经理谢睿,软通...

关键字: 智能化 华为云 数字化 RS

(全球TMT2023年9月15日讯)企业移动性管理领域企业42Gears宣布推出AstroStatus,这是一种直观的事件沟通解决方案,旨在增强企业能力,让企业在云托管解决方案出现服务中断和意外故障时能随时向客户通报情...

关键字: STATUS RS OS GE
关闭
关闭