在上篇关于VR全身追踪的文章中,我们简要分析了VR全身追踪对于VR社交的重要性,其中重点在于协调的下肢运动效果。
此前我们能想到的就是物理追踪方案,从光学marker,到深度相机,再到基于RGB相机的骨骼动作识别方案等等。
(相关资料图)
实际上,实现腿部、脚部等下肢动作追踪也越来越轻松,只不过难点是对于VR一体机来说,不能通过轻量化、简易的方式实现。考虑到现在越来越多的Inside-Out方案的VR一体机,当前并不能以简易的方式追踪腿部、脚部的动作,也不能准确模拟Avatar下半身的动作。追踪结果就是大家普遍吐槽,虚拟社交中只有上半身,这也是当前VR发展的现状。
那么我就在想,在VR中无需借助摄像头或额外设备,就能实现全身追踪又该怎么实现呢?
答案是有的:基于大量人体运动追踪数据,结合机器学习模型,实现基于头显+双手柄的动作来模拟下肢动作,实现全身动作估计的一种方式。
近期一个名为Standable的最新VR全身动作和演示视频公布,就是采用类似的方案。从视频中我们看到了无摄像头和外部设备的条件下,VR也能实现还不错的全身动作估计效果。
据青亭网了解,该项目的开发者John Coumerilh是一个年轻小伙,学习编程前就花了大量时间在《我的世界》中创作、修改各种虚拟场景。最近三年自学Unreal开发并投身到XR领域,2020年5月-2022年1月期间,在开发名为《PHIN》的VR沙盒模拟应用,特点是基于真实的物理模拟效果,目前在SideQuest上可以下载。
而从今年2月份开始,John Coumerilh开始研究了这套名为《Standable: Full Body Estimation》(简称:Standable FBE)的VR全身追踪方案。
Standable FBE的特点是为大多数XR头显,提供了原本不支持的下肢追踪,包括:骨盆、膝盖、腿部或关节处等。
而Standable FBE的开发就是源自于Steam VR追踪方案,开发者John也表示目标就是帮助VR开发者提供一套简化的、易于使用的全身追踪FBIK方案,而无需再花几个月甚至更长时间去优化FBIK。
特点1:无需额外硬件
不像是其它需要光学Marker、或相机追踪方案,这套方案完全基于软件来实现。
那么它是怎么实现的呢?根据开发者John的描述,这套方案基于SteamVR追踪实现大量人体工作追踪数据进行训练,并以生成一套简易化的软件全身追踪方案。
特点2:非常轻量的校准流程
在使用时也尽量简化了步骤,只需要非常少量的校准流程,目前仅需确认眼部位置即可。
特点3:实现复杂的动作模拟
支持从任何方向蹲下、躺下、甚至趴下等动作,也支持走路、慢跑等动作。
特点4:易于使用
因为目前还是研发阶段,针对开发者的工具包目前还在开发之中。John透露:目前正在抓紧精力开发Unreal、Unity工具包,甚至也在研究支持《VRChat》。
特点5:价格低廉
完全个人开发,个人所得税低,因此相对价格低廉。
那么,Standable FBE当前还有哪些缺点呢?
1,左右移动
通常无额外硬件的左右移动会伴随随机抬腿的动作,但是算法不知道你会在什么时间、在什么位置抬腿,应对这种偶发情况还不够友好。
2,胯部位置不准确
因为侧身或弯曲身体等情况时,全身住踪因为不能准确模拟胯部位置和方向,因此很容易让Avatar动作变得僵硬。不过,未来的版本将会大量结合腿部动作追踪。
3,全身动作协调性
目前的Standable FBE仅采用6点追踪方案,而未来John计划升级至12节点,加入了肩部、胸部、肘部、膝盖等节点,会让动作更灵活,实现更复杂的动作。
很高兴看到能有个人开发者在着手解决,无硬件方案的全身追踪算法。实际上,目前包括Meta等VR头部企业,也在着手解决这一问题,比如前段时间就透露将推出基于软件的下肢追踪方案,那么届时相信也会让虚拟社交的体验进一步升级。
参考:
https://www.standablevr.com/