三维空间视效技术发展服务高品质数字内容建设

发布日期:2023-05-22         新闻来源:中国电影科技网      点击0


 国产跨模态AIGC产品支持静态照片生成体积视频可服务电影摄制


索尼推出新一代裸眼3D显示器可用于3D影视资产预览


 Wonder Studio CG服务平台支持智能分析采集真人表演视频和服务CG动画制作


                   

【点睛】


实现三维空间沉浸式视觉体验是元宇宙(Metaverse)构建的基石。伴随着人工智能生成内容(AIGC)、云计算、虚拟现实(VR)、增强现实(AR)、裸眼3D显示器、5G/6G等技术和终端设备的发展与应用,推动三维空间视效构建的高效化和智能化,实现虚实空间的连接、融合与交互,拉近元宇宙技术的应用距离,有助于促进高品质数字内容创作,同时也为电影制作和播映提质升级带来了新的发展机遇。



01


国产跨模态AIGC产品支持静态照片生成体积视频可服务电影摄制



近日在四川成都举办的第十届中国网络视听大会上,当虹科技与中国移动旗下咪咕文化科技有限公司联合发布跨模态AIGC产品,可通过少量静态照片生成体积视频。


体积视频(Volumetric Video),又称体积捕捉(Volumetric Capture),是通过对真实世界的人物、场景等进行采集建模,将场景内容完整映射到三维空间中,生成连续的三维模型序列。常规电影每秒有24帧画面,每一帧是一幅平面图像,而体积视频的每一帧都是一个三维模型场景,可让用户在任何位置、任何方向自由观看,更具立体感、沉浸感和交互性。


1691475700210462.gif

▲体积视频示例


相对二维视频来说,体积视频具有门槛高、数据量巨大两大特点,在很大程度上限制了其发展与应用。


按照传统方法,采集体积视频需要架设几十台、甚至上百台工业摄像机,不仅采集成本高,而且对采集环境、采集技能都有很高要求。当虹科技此次发布的跨模态AIGC(Artificial Intelligence Generated Content,人工智能生成内容)产品,通过少量静态照片就能生成体积视频,并支持6DOF(六自由度)视角自由移动,大大降低了采集门槛。


另一方面,针对体积视频巨大的数据量,当虹科技通过点云模型转换及视频压缩算法为体积视频“瘦身”,可实现高达800倍的视觉无损压缩,有效解决了体积视频的传输难题。


体积视频“视角不设限的特点”极大地丰富了镜头语言表现力。在电影《暴力行动》的拍摄中,制作团队采用体积视频技术,运用连贯的长镜头与肢体局部特写,打造出流畅且冲击力十足的战斗场面。



02


索尼推出新一代裸眼3D显示器可用于3D影视资产预览



近日,索尼推出ELF-SR2裸眼3D显示器,为其空间现实显示系列再添新成员。相比于上一代ELF-SR1,ELF-SR2将尺寸从15英寸扩大到27英寸,分辨率依然保持4K,无需使用特殊眼镜或VR头戴式显示设备即可显示三维内容。ELF-SR2已与许多行业合作使用,包括游戏开发和媒体娱乐应用程序,如VR/AR/XR等。


2.jpg

▲ELF-SR2裸眼3D显示器


ELF-SR2裸眼3D显示器利用人眼感应光场显示技术,依靠高速视觉传感器追踪眼睛在垂直、水平和深度轴的位置,即时渲染左右眼图像,然后利用微型光学透镜将左右眼图像分离显示至双眼,从而达到立体显示效果。受制于眼动追踪能力,该设备目前仅支持1人观看。该显示器目标用户主要是电影、动画、产品设计、建筑、零售展览、医疗、AR/VR等领域的专业开发者。


1691476375632469.jpg

▲显示器视觉传感器


ELF-SR2的升级亮点还包括高速视觉传感器、图像增强技术等。


新一代高速视觉传感器可实现高速处理和低延迟,以减少运动模糊和串扰,屏幕视角响应速度达14ms。10bit位深处理支持覆盖AdobeRGB约100%色域,屏幕亮度达400cd/m2,对比度为1000:1。此外,新型号还提供色彩摩尔纹校正功能,可更好地处理细节、图案和线条。


ELF-SR2需实时渲染左右眼图像,对主机要求较高,相对上一代设备有所优化。目前官方推荐适配Intel i5-6以上的CPU以及与GeForce RTX2070 SUPER速度相当的显卡;支持 Windows10(64位)和Windows11(64位)操作系统。


ELF-SR2提供丰富的软件开发工具包(SDK)便于兼容应用程序和开发,支持Unity、UE、Open GL、DirectX11/12和Open XR。开发者使用ELF-SR2能直接预览AR/VR游戏场景,无需使用头显设备。


1691476401586561.jpg


在影视应用方面,Pixomondo影视虚拟制作工作室使用该系列显示器在LED屏呈现内容前,对UE中构建的3D资产进行预览,取代头戴式显示器,为创作者提供舒适和便利。


未来,索尼还将推出3D应用平台Spatial Reality Display App Select,用户可在其中找到与显示器兼容的应用程序及相关应用案例。此外,索尼还将提供Spatial Reality Display Player应用程序,支持FBX、OBJ、GLTF、STL等多种3D文件格式,可快速演示和查看3D内容。


ELF-SR2将于2023年5月上市,预计零售价为5,000美元。



03 


Wonder Studio CG服务平台支持智能分析采集真人表演视频和服务CG动画制作



近日,Wonder Dynamics正式推出Wonder Studio CG智能服务平台,可自动分析并采集真人表演视频,为CG角色制作动画并将灯光和CG角色匹配到实拍场景。


Wonder Studio实现过程分为以下几个步骤:

首先,为真人表演拍摄视频。拍摄完成后,将素材导入平台,选择想要的CG角色形态,分配给实拍的真人表演。然后平台利用AI跟踪演员表演,用CG角色覆盖真人角色,自动生成动画、灯光,将CG角色合成至场景中。无论是单一镜头还是完整序列,该工具都可对演员进行分析,捕捉身体各部位的各项动作及表情。


Wonder Studio的另一特点是“可编辑性”,大多数生成式AI解决方案都缺乏高水平制作需要的“可编辑性”。Wonder Studio除了可直接获得渲染结果,还提供多种导出素材类型,如灯光、相机、动画效果等,用户可在Maya、Unreal、Blender、Nuke等3D工具中进行控制或细节调整,完成最后的视效镜头。


1691476443650107.jpg

1691476463352692.jpg

▲Wonder Studio官方制作示意视频截图


目前,Wonder Dynamics已获得Horizons Ventures、Founders Fund、Epic Games、MaC Venture Capital和Samsung NEXT等多家公司投资。Wonder Dynamics将在未来几周内向部分艺术家开放Wonder Studio Beta版本的访问权限,并逐步扩大应用规模。


(本期图片均来自互联网)



编辑撰写丨王薇娜

校对丨张雪

审核王萃

终审刘达