无线传感器智能动捕产品为影视创作生产注入新动能

发布日期:2022-12-12         新闻来源:中国电影科技网      点击0


 索尼发布便携式人物全身动作捕捉设备Mocopi


 迪生数字发布新版高效手指动作追踪捕捉系统


 Surplex众筹推出兼容主流VR游戏的全身追踪VR运动鞋


                   

【点睛】


在影视虚拟角色制作中,基于光学、惯性、视觉等技术原理的专业动作捕捉方案已经实现对大动作、精细动作甚至面部表情的精准捕捉。随着计算机视觉、无线传感器、人工智能等技术的发展与应用,动作捕捉产品持续拓展深化各类型无线传感器与人体动作追踪捕捉的有效融合应用,并加快向便携式、轻量化、易穿戴、易操作、网络化、智能化趋势发展演进,进而将动作捕捉应用场景从专业摄影棚推向更为广阔的自由环境,为影视创作生产注入新动能。



01


索尼发布便携式人物全身动作捕捉设备Mocopi



近日,索尼发布了一款便携式人物动作捕捉设备Mocopi,使用者仅需穿戴6个无线传感器并与手机连接,即可实现在任意场所的全身动作捕捉。


1670964890548132.png

▲Mocopi无线传感器


Mocopi属于惯性动作捕捉解决方案,由6个无线传感器组成,传感器类似纽扣形状,内置加速度计与角速度计,通过配套绑带或夹子佩戴在身体的不同部位,可分别记录头、左右手腕、腰部与左右脚踝动作,再通过手机连接到3D虚拟形象骨架,无需其他任何设备即可进行动作捕捉。


每个Mocopi无线传感器重量约8克,一次充电可使用10小时,支持IPX5/IPX8防水与IP6X防尘,能满足多种户外条件下的使用需求。


1670964906420200.jpg

将传感器佩戴至身体相应部位


使用时,手机端下载Mocopi应用软件通过蓝牙与传感器配对,校准后可开始动作捕捉。在程序中可选择虚拟人物形象与背景,录制数据支持导出1080P/30fps的H.264 mp4视频文件,也可将人物动作信息以50fps的BVH格式实时输出至外部3D动画软件进行二次创作。


索尼提供Mocopi Receiver 插件用于导出,支持软件包括Unity、Motion Builder、VMC虚拟动作捕捉、VR Chat等。Mocopi应用软件还可录制语音,并使虚拟人物做出对应口型和表情。


目前该应用软件仅支持索尼旗下Xperia 1与Xperia 5系列6款手机机型以及苹果iPhone 12以上机型(不包括两款mini),后续将陆续增加其他机型。该设备预计于2023年1月正式发售,售价49500日元(约2579元人民币)。













02


迪生数字发布新版高效手指动作追踪捕捉系统

                


迪生数字近日发布手指动作追踪捕捉系统2.0版。该系统配备MoCap Pro Fidelity动作捕捉手套和Hand Engine 2.0软件,结合使用拉伸传感器与人工智能技术,具有快速校准、不受遮挡和漂移影响、抗冲击性强等特点,几乎无需进行数据清理,就可以快速获取准确、流畅、稳定、高保真的手部动作数据,可用于大场景手部捕捉、多表演者捕捉、道具互动、数字手语等复杂应用场景。


1670964930273702.png

动捕手套与软件


MoCap Pro Fidelity动作捕捉手套每只配有26个拉伸传感器,可测量全自由度的手部动作,远端关节和手腕周围的新型传感器提供了高度精确的多关节弯曲测量,获取的动捕数据曲线平滑,不会产生大幅度波峰、波谷以及关键帧丢失。其公布数据显示,MoCap Pro Fidelity动作捕捉手套可减少82%的数据清理工作量,预计使项目交付速度提高4倍。


1670964948530386.png

拉伸传感器提供多关节弯曲测量


Hand Engine 2.0是迪生面向专业动作捕捉需求推出的手部动作捕捉软件,是动作捕捉手套与动画软件之间的接口,可对MoCap Pro动捕手套进行一站式快速连接、配置和校准,帮助用户实现动捕数据录制设置、实时动作映射预览等操作。


Hand Engine软件包含三种捕捉模式:自由姿势检测模式可在拍摄期间快速调整姿势,包括检测姿势强度;姿势库模式可在拍摄前创建并上传自定义姿势库,用于在拍摄过程中获得精准手部动作;混合模式通过机器学习辅助可自动插入关键帧,只需设定一个动作范围,软件即可识别演员所做的姿势动作。每种模式效果特点各异,三种模式在后期制作中均无需返回和重新拍摄即可任意切换。


此套拉伸传感式手部捕捉方案还可搭配迪生Vicon光学手指捕捉方案联合使用,以获得精准的手部捕捉效果。

03


Surplex众筹推出兼容主流VR游戏的全身追踪VR运动鞋

                


VR专业设备公司Surplex日前宣布将在众筹网站Kickstarter推出一款全身追踪VR运动鞋Surplex Full-Body Tracking Shoes,该设备无需基站、加密狗、背带等其他设备,可实现零盲点、360度覆盖的全身追踪,实时将用户身体动作和位置同步至VR游戏中的虚拟化身,驱动虚拟角色动作。


据Surplex官网介绍,这款全身追踪运动鞋每只脚下装有240个柔性压力传感器以及能实时追踪角度的9轴惯性测量单元(IMU)。压力传感器通过读取脚上的压力来创建用户角色的骨骼模型,IMU则可更精细地追踪用户的腿部运动和角度,进而在跳跃、抬腿等无压力信息情境下捕捉到用户的运动行为。


1670964968193800.png

Surplex VR运动鞋


Surplex还在压力传感器和IMU的基础上配合专用深度学习算法,更准确地追踪穿着者的运动并映射至VR终端。该设备设置简单,电池续航时间可达6小时。


从Surplex发布的演示视频看,运动鞋可对穿着者的臀部、腿部、膝盖的运动实现较好的追踪效果,但目前仍存在一定的时间延迟、模型漂移等问题。Surplex也表示,还在对算法实施优化。


1670964984182688.png

▲用户身体动作驱动虚拟角色


目前,该全身追踪VR运动鞋可兼容《VRChat》《剑与魔法》《Neos VR》等主流全身追踪VR游戏,未来有望应用到3D动画、电影制作、游戏开发等领域。


目前VR一体机大多采用内向外追踪(Inside-out)定位设备,在机器本身安装多个摄像头,无需额外的定位点设备,但这一追踪技术由于VR头显设备前置摄像头受限于角度,无法准确捕捉用户腿部,一直被用户调侃“Avatar没有腿”。若Surplex VR运动鞋各项指标持续优化,则有望弥补VR在腿部捕捉的不足。


(本期图片均来自互联网)




编辑撰写丨王薇娜

校对丨张雪

审核王萃

终审刘达