电影摄制技术自主创新成果成功应用于新春盛事

发布日期:2022-02-18         新闻来源:中国电影科技网      点击0

 影视虚拟预演技术高质量服务2022年北京冬奥会

        

 电影多模态动捕系统实现虚实角色智能互动


 电影业务提供商联合国产品牌完成冬奥会开幕式16K LED地屏显示


 中国电影博物馆、国家大剧院等机构8K直播北京冬奥会开幕式


                   

【点睛】

当前我国电影科技在推进产学研一体化的背景下,国产化高新技术在电影多元化摄制与播映领域的探索实践愈加广泛和不断深入,虚拟预演、人工智能、动作捕捉、LED显示等技术的自主研发成果不仅服务于电影行业,在虎年伊始也成功应用于2022年北京冬奥会和中央广播电视总台春晚,为体育赛事和舞台表演带来虚实融合的全新沉浸式体验。


进入新发展阶段,电影科技发展将更加趋于学科交叉融合,在坚持自主创新和自立自强的基础上,电影科技研发成果与相关领域前沿科技融合共进,将有效推动我国电影行业高质量可持续发展。


01


影视虚拟预演技术高质量服务2022年北京冬奥会



在2022年北京冬季奥林匹克运动会的筹备与举办过程中,由北京冬奥组委指导、北京电影学院未来影像高精尖创新中心团队牵头研发的场馆仿真系统(Venue Simulation Service,VSS)发挥了重要作用。


该系统是2019年和2021年两项国家重点研发计划项目:“影视制作虚拟预演关键技术研发与系统集成”和 “科技冬奥专项——冬奥会赛事活动规划与运行设计仿真系统研究及应用示范”的研究成果,成功将影视虚拟预演技术应用于体育赛事场馆仿真领域。


1646208928866852.jpg


该系统基于场馆可视化数字孪生模型和云渲染,将物联网中的信息与现实世界相结合,实现三维场景仿真。在冬奥筹备阶段,利用该系统搭建的仿真场馆进行赛道模拟、摄像机位模拟、观众座位观赛视角模拟,为无法来到中国的各国组织、新闻媒体、电视转播等设计运行工作提供支持;赛事举办期间,该系统主要用于赛时预演方案辅助设计服务,高效及时变更事项规划和转播方案。


1646208950403570.jpg


该系统内置的预演技术工具可以添加众多转播机型和设计机位,并支持对摄像机焦距、视角进行仿真模拟及验证,实现多人虚拟现实(VR)同时在线观览互动、摄像机位及拍摄画面仿真、运动员活动虚拟预演、电视转播画面虚拟预演、现场转播席等临时场景快速构建等功能,最大程度数字化还原内容制作团队的工作流程。


在该系统研发过程中,项目团队重点对虚拟仿真适用性关键技术、流程规范和数据标准进行研发,攻克了三维虚拟场景与物体建模、虚拟角色建模、虚拟预演等一系列虚拟仿真适用性关键技术,并针对大型赛事活动规划与运行设计领域的特定需求,对场景感知、三维重建、无标记多目视频人体运动捕捉等相关技术进行了定制化改进。


在视伴科技(北京)有限公司的助力下,冬奥场馆仿真系统及针对转播机位方案规划和形象景观规划需求的两个专用仿真系统平台开发完成、系统功能不断完善。


同时,英特尔为系统开发提供了底层算力技术支持和落地应用推动,使系统开发阶段避免了将复杂场馆与活动过程三维可视化、动态化、参数化时算力不足的困境,最终顺利从科研项目转化应用为2022北京冬奥的正式服务技术。













02


电影多模态动捕系统实现虚实角色智能互动

                


在2022年央视春晚上,创意舞蹈《金面》利用人工智能(AI)多模态动捕系统,基于复合多目标全局光学标定与跟踪技术,将虚实人物渲染至同一时空坐标,并结合CG技术,实现实时虚实自然交互,呈现女舞者与三星堆青铜人像打破现实世界与虚拟世界的物理边界,在同一虚拟空间中交互共舞的效果。


1646208974648589.gif


《金面》的虚实融合效果使用由中央广播电视总台超高清视音频制播呈现国家重点实验室和凌云光技术股份有限公司联合开发的高精度动捕系统制作完成,首先以实际文物为蓝图创建青铜人像的三维模型,其后使用由红外主动照明智能相机构成的采集矩阵,采集专业舞蹈演员的关节点运动轨迹,并通过AI算法解构演员的人体骨骼三维数据,实时将运动数据映射至青铜人像动画模型。


1646208990970509.gif


同时,画面中的女舞者不需要穿戴动捕服装,AI多模态动捕系统中的多人无标记点智能动作捕捉系统AIMotion通过AI算法对女舞者的运动轨迹和形体进行采集和分析,计算出其形体影像的三维坐标,从而实现数字模型与演员互相配合,以达成最佳表演效果。


早期,深度学习算法大多使用声音、视觉等单模态数据源来进行模型训练,而多模态交互则是通过声音、文字、图片、音频、视频、姿态等多通道信息与计算机交流。多模态人工智能是计算机视觉和交互式人工智能模型的融合,能够为计算机提供更接近于人类感知的场景。


03


电影业务提供商联合国产品牌完成冬奥会开幕式16K LED地屏显示

                


在2022北京冬奥会开幕式上,地面显示系统作为演出显示系统和表演舞台,承载了开幕式60%以上的演出创意。


该系统采用的LED地屏覆盖10552平方米,由42208块LED箱体构成,显示分辨率达16K,帧速率为每秒50帧。每一块地屏LED箱体要满足表面承重≥0.5t/㎡、亮度均匀性≥97%、工作环境温度-20~+50℃。


1646209011145466.jpg


整个地面LED显示系统中的灯珠、模组、屏外保护、控制系统、线路搭建、视效制作均是中国制造,由中国航天、利亚德、京东方、澜景以及电影行业LED放映显示屏和LED显示墙虚拟摄制业务提供商洲明、诺瓦等国内技术与设备商联合完成,突破了超大图像高可靠高精度同步播放、屏幕实时监测与控制等关键技术。


冗余设计

项目设计团队开展了多级冗余分布式LED屏幕控制系统设计技术研究,每块LED模组由AB两块屏幕构成,灯珠、供电为AB两路热备冗余,视频信号是主、主环、备、备环四路信号热备冗余,实现了大规模复杂显示系统的流畅、安全、可靠运行。


实时监控

依托长征云工业互联网平台,LED屏综合监控软件可实时监控4万块LED模块的温度、湿度、电压等工作状态,一旦出现异常,可实现精确定位,快速找到故障点,保障演出过程的安全性及可靠性。


1646209041318840.gif


融合拼接

地面显示系统内建设的播控系统负责开幕式地屏、冰立方、冰瀑、中心圆台的视频播放、解码、超亿级像素带载的发送融合显示等播控工作,采用自主研发的超高分辨率视频服务器、超大规模视频拼接器和超大带载单口8K主控,一台播放服务器输出4路4K/50Hz/50fps视频信号,多台设备联播实现帧同步,确保系统集成度和可靠性。


同步输出

整套播控系统采用1套帧同步信号发生器,同时为14台播放服务器和24台视频拼接器提供统一的主时钟同步信号,确保38台独立设备同步工作且互不干扰。



04


中国电影博物馆、国家大剧院等机构8K直播北京冬奥会开幕式


2022年2月4日,中国电影博物馆与北京广播电视台、北京移动、台达电子等多个机构合作,在5G/8K影厅直播冬奥开幕式。


本次直播采用北京广播电视台冬奥纪实8K试验频道作为信号源,运用我国自主知识产权的AVS3视频编码技术,通过台达25,000流明8K激光投影机实现北京冬奥会开幕式高质量8K实时传输与展示。


1646209064869174.jpg


与此同时,国家大剧院也使用台达8K激光投影机进行了北京冬奥会开幕式的8K直播,并将在冬残奥会闭幕前,在“科技冬奥”8K电视示范点持续播出总台冬奥8K节目。


此外,全国约20块户外公共LED大屏也同步开展冬奥会开幕式8K直播。


(本期图片均来自网络)