Facebook分享如何测量力反馈手套的感知延迟

  • 时间:
  • 浏览:0

我在大概一年多前加入Facebook Reality Labs(FRL)。我有幸与世界级的专家合作者者,并并肩科学发名最前沿的新技术。遗憾的是,我付出的代价是还可以 了再通过博客介绍我的工作。有关我工作的一切有的是 最高机密。但今天情况表位于了变化。

我将介绍我负责的一5个软件工程项目。它是怎么才能 才能 带来意想还可以 了的发现。是那些致使亲戚亲戚朋友进行用户研究。这产生了一定的新发现。实际上,这篇博文什么都有简单介绍了FRL的有些研究。

1. 触觉手套演示

亲戚亲戚朋友的一5个研究项目是触觉手套。迈克尔·亚伯拉什曾在OC5大会通过一5个简短的视频进行了展示:在视频中,一位用户正在穿戴一款触觉手套。在虚拟现实中,系统不用 追踪并删改解释她的双手。当她用虚拟手触碰虚拟积木塔时,物理手套将产生触觉反馈。

这些演示的早期版本中位于一5个问提图片:延迟。音频和触觉反馈明显滞后。用户是手触碰积木塔随后才开始英语 了了感到或听到相应的反馈,彼此有的是 同步实现。

我喜欢优化问提图片。首个任务之一是测量。对于纯粹的软件问提图片,这十分简单。让我发现各种用于分析代码性能的工具。但测量硬件延迟则更为困难。幸运的是,我有先例须要参考借鉴。

2. 游戏输入延迟

游戏开发商多年来总爱在测量输入延迟。“感觉”好的游戏和“感觉”不好的游戏之间的区别太难解释,随后通常难以量化延迟。

输入延迟是一5个简单的概念。从按下按钮到马里奥开始英语 了了跳跃,这期间须要多长时间?从按下按钮到电视像素位于,这期间又须要几块毫秒?本身快速巧妙的测量法律方法是利用智能手机。让我以240 FPS录制慢动作视频,随后计算帧数。

更好的法律方法涉及本身定制控制器。控制器接入所含LED的电路板。检测到按钮信号时,LED亮起。结合高速视频,让我实现更精确的测量。

比这些更好的出理 方案是,修改游戏并令其渲染黑色方块,随后黑色方块不用 在按下按钮时变成白色。让我将光传感器接到显示器,什么都有须要提供非常精确的测量。

3. 端到端延迟

现在亲戚亲戚朋友知道应该怎么才能 才能 测量延迟了。很好。

不尽然。上述法律方法是用于测量按钮到光子的视觉延迟。亲戚亲戚朋友关心的是缝制在手套内的触觉致动器的延迟。摄像头可排不上用场。

更糟糕的是,亲戚亲戚朋友那末按钮。亲戚亲戚朋友采用的是先进的手部追踪系统。当物理模拟检测到虚拟双手的接触时,触觉反馈就将产生。

亲戚亲戚朋友须要将触觉反馈单独学会英语来,但亲戚亲戚朋友关心的是演示体验的端到端延迟。这包括硬件追踪系统,内部软件,第三方软件,设备驱动系统程序和输出硬件。

下面是亲戚亲戚朋友的测量出理 方案:

亲戚亲戚朋友将物理桌面与虚拟桌面对齐。当用户的物理手部轻敲物理桌面时,亲戚亲戚朋友的虚拟手部并肩将轻敲虚拟桌面。

随后亲戚亲戚朋友使用一5个麦克风。一5个指向桌面并记录物理接触的声音。第5个是手套内部的接触式麦克风,其用于记录触觉响应。一5个麦克风都输入至不用 同步音频流的现场录音器。

接下来,亲戚亲戚朋友不计算视频帧,什么都有通过Nuendo打开音频流。亲戚亲戚朋友手动注释音频流,随后计算增量时间,亦即亲戚亲戚朋友的端到端延迟。

亲戚亲戚朋友的触觉延迟测量速度高达60 毫秒。本人都知道这很糟糕。但这是亲戚亲戚朋友第一次拥有了具体的数字。

这段时间底下,大概有60 毫秒来自于第三方软件。亲戚亲戚朋友有的是 在开展传统项目。亲戚亲戚朋友希望触觉设备不用 以60 0赫兹的频率运行。这会原困各种奇怪的边缘情况表。一旦亲戚亲戚朋友知道问提图片出自哪里,亲戚亲戚朋友就不用 调整行为并出理 底下件的死亡螺旋。

亲戚亲戚朋友的软件管道贯穿多个子系统。它们在多个系统程序上运行,并以不同的速度更新。

系统程序问提图片原困周期浪费,有时甚至是损坏的信号。FramePro是一5个可视化多系统程序行为的优秀工具。

为了验证亲戚亲戚朋友的修复,亲戚亲戚朋友用示波器测量了触觉致动器。作为一5个软件人,这对我来说是本身有趣的新体验。

4. 三模态延迟

细心的读者可能性可能性注意到Nuendo截图中的5个音频流。我的主要目标是衡量和改善触觉延迟。但可能性亲戚亲戚朋友的系统实际上属于三模态:亲戚亲戚朋友关心触觉(手套),视觉(VR显示)和音频(耳机)。

为了测量这三者,亲戚亲戚朋友记录了5个同步的音频流:

检测物理接触的桌面麦克风

检测手套触觉的接触式麦克风

用于检测Rift头显音频的麦克风

用于检测显示变化(黑色到白色)的光电二极管

亲戚亲戚朋友并肩使用接入USB的电容模拟板作为亲戚亲戚朋友的物理触碰目标。这使得亲戚亲戚朋友不用 获取软件时间戳,后者可用来测量追踪系统的延迟。

这时,亲戚亲戚朋友的积木塔演示感觉可能性好了什么都有什么都有。触觉反馈的延迟感和断开感可能性有了很大的改善。用户不用 在触及积木的同一时刻感受到触觉。

5. 感知并肩性

人类的大脑非常奇特。人类非常善于根据多种感官信息来源来建立世界的心理模型。但有时亲戚亲戚朋友的感官可能性位于误导性。你可能性可能性注意到我随后的信息图中位于一5个问提图片。视觉,触觉和音频的延迟不一样。触觉延迟还可以 了60 毫秒,而音频慢了大概40毫秒。

在亲戚亲戚朋友优化演示内容的随后,人们询问是否须要禁用音频。接下来位于的事情令我感到震惊。触觉感觉更加敏感。若果我想和你分享这段经历。启用音频后,触觉感觉很棒。关闭音频后,触觉感觉超级棒。有的是 更好,什么都有显著更好。亲戚亲戚朋友兴奋地跑到办公室,并对亲戚亲戚朋友进行测试,看看亲戚亲戚朋友是否都能感受到这些差异。结果真是那末。

具体来说,大脑将多个感官信号融合到统一的感知事件中。当你就看,感觉到,随后听到你的手部轻敲桌面时,大脑将这本身感官刺激解释为单一的触碰事件。

当其中一5个信号(如声音)稍微总爱跳出延迟时,大脑对有些刺激的感知将随之变化,可能性声音会“捉住”有些刺激。这使得亲戚亲戚朋友有种触觉位于的时间晚于实际接触时的感觉。

下面是奇异和有趣的地方。这些感知变化是自动的和非自愿的。即便你知道音频位于延迟,大脑有的是 会考虑延迟并进行纠正。无论亲戚亲戚朋友怎么才能 才能 专注于指尖触觉,延迟的音频仍然会原困你认为触觉的响应性有所降低。

6. 心理物理学

现在亲戚亲戚朋友手中总爱跳出了各种有趣的问提图片。几块延迟属于那末来太满呢?刺激须要同步吗?降低延迟和增加同步,哪个更重要呢?

为了开始英语 了了回答上述问提图片,亲戚亲戚朋友进行了一次心理物理实验。

亲戚亲戚朋友的第一项研究十分简单。亲戚亲戚朋友希望评估视觉和触觉刺激之间所能允许的延迟时间。这项测试在虚拟现实中进行,随后删改地追踪和解释双手。被试执行了操作虚拟立方体的任务。

为了模拟不同的延迟,亲戚亲戚朋友通过写代码的法律方法来注入额外的延迟。为了允许亲戚亲戚朋友尽早触发触觉刺激(甚至在手指触及表皮随后),亲戚亲戚朋友并肩编写了有些简单的预测代码。这是本身模拟比亲戚亲戚朋友系统所能允许的更低延迟的法律方法。亲戚亲戚朋友的预测代码不适用于消费产品,但它在受控环境中运行良好,你不用 告诉被试确切的行为法律方法。

可能性在视觉响应后的还可以 了60 毫秒内播放触觉响应,大多数被试有的是认为视觉和触觉刺激是并肩位于。在亲戚亲戚朋友的手套演示中,触觉响应仅在视觉响应后20毫秒内播放。

有趣的是,可能性触觉响应比视觉响应早20毫秒以上播放,这些并肩刺激感就不用总爱跳出。这是一5个70毫秒的宽松窗口,但它有的是 以t = 0为中心。

7. 三模态并肩性

亲戚亲戚朋友的初步研究侧重于简单的双刺激测试。接下来,亲戚亲戚朋友进行了一项更多样化的三模态并肩性研究,包括视觉,触觉和声音。

这是一5个非常难以建模和可视化的问提图片。亲戚亲戚朋友可能性有了数据,但分析仍在进行中。以下是初步结果:

这张图非常密集。亲戚亲戚朋友下面将分解说明。

原点代表所有本身刺激有的是 同一时间位于的情况表。对于图中的有些位置,其表示相对于视觉刺激的时间的不同步进行。X轴表示音频刺激相对于视觉刺激的延迟。正X值表示声音是在视觉总爱跳出后播放。负X值表示声音是在视觉总爱跳出前播放。Y轴累似 ,但这是相对于触觉刺激。颜色编码是被试将本身刺激评定为并肩位于的百分比。

好了,这原困那些呢?我发现了两件有趣的事情。

首先,“热点区域”有的是 以原点为中心。被试对在视觉刺激随后位于的触觉或音频刺激非常敏感。

随后,其社会形态更接近于椭圆。被试对触觉延迟的敏感度高于音频延迟。这些模态的异步性更加明显。相反,音频延迟往往更容易接受。这与先前的描述一致,即音频“捉住”触觉,甚至可能性使其感觉上像是总爱跳出了延迟。

随后,目须要得出任何有力的结论还为时过早。亲戚亲戚朋友的样本量非常小,亲戚亲戚朋友的初步实验非常简单。亲戚亲戚朋友发现,改变交互类型会对可接受的异步感影响很大。结果可能性会随着不同的任务或不累似 型的刺激而位于显著变化。亲戚亲戚朋友向被试提出的调查问卷可能性那末捕捉到积木块塔演示中遇到的微妙“延迟”梯度。

最后,亲戚亲戚朋友希望提供“创建引人入胜的触觉用户体验”的指南。亲戚亲戚朋友还那末走到那一步。亲戚亲戚朋友对三态并肩性的研究尚不删改。人们可能性会说亲戚亲戚朋友的旅程只完成了1%。不过,亲戚亲戚朋友一5个不错的开局。

8. 最后的想法

这什么都有我今天的故事。我有幸不用 研究一5个有趣的问提图片。亲戚亲戚朋友并肩发现了意想还可以 了的事情,随后亲戚亲戚朋友对人类感知的原理有了更多的了解。非常感谢就看最后的读者。我非常喜欢这些项目的工作。很荣幸有可能性与你分享。