AI助力动作捕捉技术更加精准高效
发布日期：2023-11-20 新闻来源：
新模型SMPLer-X有效提升人体姿势和形状估计表现力 新版Animate 3D软件支持多人动作智能捕捉 Wonder Studio添加独立动作捕捉AI工具，提升生产效率与灵活度 【点睛】 01 新模型SMPLer-X有效提升人体姿势和形状估计表现力 近日，来自南洋理工大学与商汤研究院的研究人员在神经信息处理系统大会NerIPS 2023发布论文，提出了一种用于表达人类姿势和形状估计（Human Pose and Shape Estimation，EHPS）的新型通用基础模型SMPLer-X，可快速从互联网视频中提取运动数据，用于虚拟角色动画制作。 SMPLer-X以ViT-Huge（视觉Transformer大模型）为主干，使用来自不同数据源的多达450万个实例进行训练。凭借大数据和大模型，SMPLer-X在各种测试基准中表现出强大性能和良好泛化能力。 研究团队分别对数据缩放（Data Scaling）与模型缩放（Model Scaling）展开研究。在数据缩放方面，研究团队对32个EHPS数据集进行了系统调研，最终综合提炼，使数据集能够涵盖任何单一数据集上训练的模型都无法处理的广泛场景；对于模型缩放，研究团队利用Vision Transformer的优势，总结出EHPS模型尺寸的缩放规律。 该模型在多个测试基准的测试结果如下：AGORA（107.2 毫米 NMVE）、UBody（57.4 毫米 PVE）、EgoBody（63.6 毫米PVE）和 EHF（62.3 毫米PVE，无调优情况下）等，测试结果达到SOTA（state-of-the-art）级别，其中NMVE和PVE均为衡量3D人体形状估计的误差参数指标。 研究团队还对比了该模型与其他主流EHPS模型的动作捕捉效果，从对比画面来看，SMPLer-X在快速动作变换的情况下，跟踪捕捉更为准确。 ▲SMPLer-X与主流动捕AI模型的跟踪效果对比 02 新版Animate 3D软件支持多人动作智能捕捉 近日，DeepMotion发布了浏览器端AI动作捕获工具Animate 3D的5.0版本，在原有功能基础上实现了同时跟踪多人物动作，并将单人动作捕捉功能扩展至移动端设备应用。 ▲Animate 3D 5.0 实现多人动作捕捉 ▲Animate 3D 5.0 软件界面 在跟踪设置上，用户可进一步调整跟踪项目，如增加脸部跟踪、手部跟踪，调整跟踪平滑度等。设置完成后，可在预览编辑界面动态查看跟踪效果，并对跟踪误差进行微调修正。最后，以FBX、BVH或GLB格式下载输出，以便在Blender、Maya等DCC应用或Unity、Unreal Engine等图像引擎中使用。 Animate 3D 用于跟踪的视频分辨率与帧率至少应在1080p/30fps以上，画面质量越高越有助于提高动作捕捉质量。而对于多人物间的动作交互，如拥抱、摔跤等情况，跟踪效果有限。 此次版本更新除增加多人物跟踪功能外，还进一步实现了替换场景同步输出、深度跟踪优化以及移动端应用等功能。 03 Wonder Studio添加独立动作捕捉AI工具，提升生产效率与灵活度 2023年3月，Wonder Dynamics发布了能够自动匹配视频场景与演员动作的CG角色生成工具Wonder Studio。近日，该公司为Wonder Studio新增独立AI动作捕捉(AI Motion Capture)功能，旨在灵活匹配用户对于动作捕捉的核心需求，工具仅生成动作捕捉数据，无需渲染VFX镜头。 在Wonder Studio中，系统利用AI技术跟踪演员表演，并将用户选择的CG角色直接复制在视频场景中，自动完成动画生成、灯光等一系列数据匹配，可导出的文件类型包括： AI MoCap (FBX) Clean Plate (PNG, JPG) Alpha Masks (PNG) Blender Scene (BLEND) Rendered VFX Shot (PNG, MP4) Wonder Studio采用典型的SaaS云端服务模式，用户通过浏览器可直接享用软件功能。此次添加的AI Motion Capture使得用户能够根据需要灵活选配是否需要渲染镜头，单独输出动作捕捉数据FBX，从而节省云处理资源消耗。 云处理资源消耗与用户需要花费的资金成本息息相关。根据该平台的计费策略，单独使用AI Motion Capture输出，消耗的积分点数（Credits）降低80%。用户利用动捕数据可在其他工具软件中进行专业化渲染调试，使资源能够合理分配，进一步匹配有针对性的精细效果需求。 （本期图片均来自互联网） 编辑撰写丨王薇娜 校对丨张雪 审核丨王萃 终审丨刘达
关于我们
联系我们
在线招聘