Oculus分享：为挑战性环境优化6DoF控制器追踪
|
来历：映维网 作者 颜昳华 映维网曾在九月和十一月分享了关于OculusConstellation追踪体系的相干细节，个中认真AR/VR装备输入追踪的Facebook工程司理安德鲁·梅利姆（Andrew Melim）撰文先容了他们是怎样用基于Constellation追踪的节制器来进步交互保真度，以及在最近版本更新中所回收的最新LED匹配方案。日前，安德鲁·梅利姆再次撰文的先容了他们为进一步优化和强化Oculus Insight节制器追踪体系而支付的全力。下面是映维网的详细清算： 延长阅读：深入试探Oculus Insight怎样进步追踪保真度，确保内向外追踪体系机能 延长阅读：Oculus揭秘Touch节制器追踪技能：LED 匹配 Facebook进一步先容关于最近用以优化节制器追踪机能的版本更新，尤其是针对具有挑衅性的追踪情形，如包括圣诞树或沐日装饰灯具的空间。因为Facebook的追踪体系是基于检测和几许匹配小簇红外光，以是沐日季时代将泛起重大的挑衅，由于它要在包括数百个光点blob的配景下正确追踪节制器，而体系也许会将其误以为是节制器。 1. 追踪挑衅 当节制器位于圣诞树前时，Insight追踪体系所感知的画面将如下所示。右侧的黄点是体系检测到的全部隐藏节制器LED。如你所见，无论是来自圣诞树，装饰吊灯，照旧其他也许存在的灯串，外部光源城市给体系定位节制器的LED带来挑衅。
图中的其他光源对追踪算法提出了必然的挑衅： 更多的光点blob会导致支解和匹配的计较时刻增进。 若无关于节制器在上一帧中的位置信息，假如节制器介于装饰灯具的离群值范畴内，则体系险些不行能计较姿势。 就算存在先前的信息，即即是单个错误的LED城市造成错误地匹配，从而导致追踪失败。 因为Quest的严酷计较预算，计较时刻的任何增进都也许造成camera的掉帧。 面临上述挑衅，在沐日装饰灯四面的情形中举办节制器追踪很是坚苦，而且除非用户封锁灯具或将其移至其他房间，不然也许会导致错误。但Facebook但愿人们什么时辰都可以或许在家里享Quest和Rift S的爱好，以是Facebook专注于优化追踪体系。 2. 办理方案 Facebook构建了两种首要要领来办理这个题目的差异方面： 起首，开拓了一种可以检测情形中的牢靠3D灯源，并行使其3D位置来辅佐拒绝这种光点blob的全新算法。映射外部点的进程相同于Insight追踪背后的体系。 要为这种牢靠的离群点建设准确的映射，必要体系计较它们的根基几许外形并对其在3D空间中的位置举办三角丈量。体系将在嬉戏进程成立其追踪的标志列表。这种标志不只存储离群点的位置，同时存储称为协方差的不确定性值。这种不确定性可以辅佐进步体系当标志为固按时的判定精度。一旦在统一位置多次看到沟通的标志，体系就会予以确认并在追踪进程忽略相干的光点blob。 在下面的并排图像中，你可以看到新算法（左侧）辨认出粉赤色标志和绿色标志。个中，粉赤色为圣诞树灯具的光点blob，而绿色则为节制器LED的光点blob。
一旦绘制了牢靠标志，体系就会将它们投影到camera视图，从而获取其在每一帧中的像素位置。在所述位置检测到的光点blob（通过特定阈值内的偏差怀抱来丈量）不会用于匹配。举办删减后，体系将得到一个很是有也许是节制器blob的非牢靠blob索引列表。可是，仅追踪牢靠的标志不敷以确保靠得住的追踪。在最具挑衅性的情形中，我们但愿体系在处理赏罚之前先剔除明明不正确的光源。 以是，Facebook通过内部测试说明为何会产生追踪不匹配。Facebook发明凡是的环境是，因为姿态匹配，不匹配的节制器blob尺寸会错误，如假定姿态靠近时blob太小。综上所述，图像中的显式blob尺寸根基可按照以下身分举办猜测： LED与摄像头的间隔 入射到LED的入射角 图像blob到图像中心的间隔 图像Blob椭圆在图像空间中的偏向 思量到这种相关，Facebook实行了差异的要领来将上述输入信号建模为输出。Facebook发明因为塑料的折射效应，几许建模相等禁绝确，而呆板进修要领（尤其是小型神经收集）能带来最高的准确度。 Facebook操作Caffe2实习了一个极小且针对性极强的CNN卷积神经收集，从而验证明明太大或太小而无法成为节制器blob的blob。Facebook对特定的内部收罗数据集举办了实习，并发明这与映射标志结适时可以或许明明镌汰离群值数目的有用要领。 3. 功效 通过这种优化，追踪体系的机能在布满挑衅的情形中（如沐日季时代常见的情形）有了明显改进。最大的改造是明显镌汰了数据丢失的数目，并险些消除了在麋集外部照明环境下不正确的LED匹配。我们发明这可以或许改进用户体验，同时但愿Quest和Rift S用户可以或许整年无缝地享受VR的爱好。 原文链接：https://yivian.com/news/70209.html （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
