全景影像后期工作流程及技术方案介绍_中国电影科技网 - 科技前沿
关于我们 | 联系我们   注册 中文|ENG
您现在的位置:首页 >> 科技前沿 >> 科技动态
科技前沿
科技动态
科技成果
科技论文
行业数据

全景影像后期工作流程及技术方案介绍
2016-11-23 | 访问次数: | 新闻来源:《现代电影技术》

  浙江传媒学院  金晟


  近年来,随着虚拟现实技术的兴起,其中一个重要的分支“全景”影像也随之成为热点。同时,“全景”影像的拍摄,由于高清摄影机小型化程度的提高而变得越来越经济方便。从去年到今年的一年间,各类全景摄影机也不断在全景设备市场涌现。如图1中来自Nokia的OZO、三星的ProjectBeyond、GoPro的Omni,还有Google的Jump都是现在市场上热卖的全景摄影机或全景摄影架。

  

 

图1  OZO(左上) ProjectBeyond(右上)Omni(左下)Jump(右下)

      这些全景摄影机看似形态各异,实际上原理大同小异,即利用多个摄影机按照全景影像技术原理的方案组合在一起,并通过同步装置实现多摄影机同时开机拍摄,获得同一时间360°球体空间中所有的影像数据,再通过后期电脑技术将数个视频数据合并成为一个完整的360°视频。如果我们将360°空间的画面想象成为一个球的内部面,那么用指定镜头角度和数量的摄影机组即可使拍摄画面充满整个球面,这就是360°视频拍摄的原理基础。
  全景摄影机的发展使得全景视频的质量越来越高,渐渐脱离了小众的状态而走上普及的道路。越来越多的人开始拍摄全景视频,有名的如华人导演林诣彬的作品《HELP》(如图2),这部5分钟耗资500万美元的大制作充分体现了最高水准的全景影像,给人带来了无与伦比的沉浸式感官震撼。与此同时,更多的人也开始使用全景摄像机来记录自己的生活,如登山、潜水等冒险运动,以及现场直播等。Google、GoPro、Facebook等大公司也利用自身的技术优势研究全景视频技术,纷纷推出了自己的全景视频摄影机和软件,希望在虚拟现实这个众人期待的影视技术增长点进行提前布局。
  

图2  《HELP》

      随着全景视频技术的发展,观众对全景视频质量的要求也渐渐提高,原本非专业级的画面质量自然难以满足。专业度高如《HELP》的制作有着让人望而却步的成本,故而越来越多的公司开始推出能够进行流程化制作全景视频的通用型软件工具。但市面上现有的一些全景视频拼接制作工具,其准确性、专业性都不能制作出可以达到电影级质量要求的全景视频,而在全景视频市场越来越大的情况下,对专业级制作工具的需求日益高涨。
  

图3 NUKE 9.0 v7软件

      作为一款在影视行业深耕多年的专业制作软件,NUKE在数字合成等领域已经是业界翘楚(如图3)。而在全景视频这一新兴的影视类型里,雄厚的技术实力也使得NUKE鹤立鸡群,在专业度上脱颖而出。今年上半年NUKE研发了最新的名为CARA VR的全景视频解决方案插件(如图4),专门针对全景视频的多机位图像处理进行了相关的工具开发。在NUKE中进行全景视频制作有两大优势,一是能够稳定高效地完成拼接和优化工作,二是能够迅速延伸至影视制作的其他环节,如特效合成、抠像、摄像机反求等。下面本文将对全景视频后期合成的整个工作流程进行介绍。
  

图4  CARA VR插件组

      一、拼接
  拼接是全景视频制作的基础工作。影响全景视频拼接的要素有摄影机数量、镜头畸变程度、场景照度差别等等。与市面上其他全景制作软件类似,NUKE在拼接上也是使用了特征点匹配的方法,而不同的是,NUKE利用其在摄影机反求上的技术使得其在拼接精度上有了更高的水准。
  NUKE在全景视频拼接上主要有三大工具模块,分为CameraSolver(摄影机解算器)、Sticher(拼接器)和ColorMatcher(色彩匹配器)。
  1. CameraSolver摄影机解算器(如图5)
  

图5  拼接

 

图6  Camera Solver设置

      NUKE利用其在计算机图形学上的技术积累,做出了强大解算工具。通过分析每一个视频中图像相似的部分,计算出若干特征点,再通过特征点反向求出摄影机在物理空间中的排布方式,进而正确地将不同的视频放置到相对应的位置。
  图6为CameraSolver的设置画面,可以选择已有的摄影机预设从而快速地进行摄影机反求并定位图像,但就算没有预设也不妨碍使用,CameraSolver强大的功能可以轻松解算出不同数量不同结构全景摄影机的空间位置。
  A. 先设置好用于解算的关键帧,关键帧越多,计算越准确,耗时越久。
  B. 然后,点击Match,NUKE将会开始寻找特征点。计算结束后,图例中黄色的部分即为特征点,而各个摄影机的图像因为还没有在画面中重新定位而重叠在一起。特征点重合计算如图7所示。


图7  特征点重合计算

 

图8  全景视频解算结果

      C. 点击Solve,这一过程即为NUKE通过前面Match匹配出的特征点来解算摄影机的空间位置的过程。画面中不同的视频在解算后分别被放置到不同的位置上,绿色点为匹配正确的特征点,而红色的点为匹配出错。点击Reject可去除错误特征点,再点击Refine即可在原有基础上优化解算,适量重复此步骤能够使解算更加精确。全景视频结算结果如图8所示。
  如果此时在NUKE中切换3D视图,就可以看到NUKE已经模拟出了10台摄影机的空间位置关系。这一技术特点使得NUKE在全景视频制作方面有着高度的准确性。不仅如此,模拟出摄影机3D空间意味着可以还原出摄影环境,通过在NUKE中输出摄影机信息,可以在3D软件中进行更加复杂的制作,从而使全景视频的高端合成成为可能。 解算出的摄像机结构如图9所示。
  

图9  解算出的摄像机结构

      D. 通过模块内的其他工具,还可以精确调整特定镜头的位置,以保证地平线等环境元素的真实。在画面中可以精确查看特征点并可逐个进行调整,也可以检查每两个镜头间的相关度,进行小范围的位置调整,详细的摄影机列表让用户可以清晰地查看并调整每单个镜头的位置信息,这些精确而专业的工具都为高质量全景视频的制作创造了条件。摄像机图像集合图示如图10所示。

 


  图10  摄像机图像几何图示

 

图11  摄像机全数据

      2. Sticher拼接器
  同样是基于计算机图形学,NUKE通过调整视频与视频之间交接部分的羽化和畸变,精确地修整每个镜头画面之间的合并边缘,使画面变得清晰锐利。光是反求摄影机调整位置是不能将不同的画面融合在一起的,而Sticher就是一串将画面缝合起来的针线。 Sticher节点如图12所示。
  

图12  Sticher节点

      通过调整不同镜头画面之间的重合度(converge)来调整Sticher对画面影响的程度,不同的素材下有着不同的合适数值。Sticher具体参数如图13所示。
  

图13  Sticher具体参数

      全景图像调整前后对比如图14所示:左图为调整前,右图为调整后。可以看到原本有着许多重影和模糊的画面变得清晰干净。
  Sticher需在CameraSolver后使用,但在逻辑结构上属于拼接流程的末尾,因为不论是CameraSolver提供的摄影机位置信息,还是接下来的ColorMatcher提供的色彩信息都是Sticher进行缝合的依据,故而置于流程末端。
  

图14  全景图像调整

      3. ColorMatcher色彩匹配器 (如图15)
  

图15  ColourMatcher节点

       色彩匹配器的作用是纠正不同摄影机画面照度不同造成的画面不连贯的问题,使各个方向上的影像调整到接近的亮度水平。此功能并非艺术性的色彩加工,而是为了能够更加精确地拼接画面而进行的色彩校正。ColourMatcher节点参数如图16。
  

图16  ColourMatcher节点参数

       A. 自动调整。设置好关键帧,选择Exposure,点击Analyse,NUKE会开始分析所有视频的曝光度并自动调整每一个视频的曝光水平。左图为调整前,右图为调整后。可以发现空间中光线的分布自然了很多,画面中光线的过渡也趋于正常,如图17所示。

图17  调整前后


  B. 手动调整。在分析并调整后,色彩匹配器会将每一个视频的RGB调整信息显示在模块窗口内供用户进行更加自由的操作,用户可以通过色盘或修改色彩数值手动修改每一个镜头的色彩表现,直到满意。色彩匹配器的RGB信息调整对比如图18所示。
  

图18  色彩匹配器的RGB信息调整对比

      通过对三个镜头的调整,画面更加自然了一些,而更加细致的画面优化,将在接下来的部分中完成。图19所示为色彩优化处理前后对比,左图为调整前,右图为调整后,可见画面中亮度的变化更加柔和了。
  

图19  色彩优化处理前后对比

      二、优化
  全景视频的制作不能止步于拼接,如之前实例的图片中一样,会有画面中色彩亮度不均匀、地面上有摄影机支架的残影等瑕疵,而全景视频的优化工作就是为了修复这些瑕疵。在以往,全景视频制作技术不成熟的情况下,全景视频最大的问题就在于精度不够和后期制作中很难消除镜头与镜头之间因拼接而造成的残影等瑕疵。而NUKE作为一款顶尖的专业电影级后期制作工具,利用其在电影制作中积累多年的技术,使得全景视频制作提高到了全新的水平,向电影级别迈进。在良好的无损优化技术存在后,与之带来的高端后期合成也能够在全景视频中实现。
  优化工作主要利用到NUKE的SphericalTransform球面变换工具和Roto工具,SphericalTransform能将全景视频映射到一个球面空间上,并能精确调整角度,再利用Roto在调整好的内容上进行修补,接着进行合成和色彩调整。图20所示为优化工作节点结构。

 
  图20  优化工作节点结构

 

图21  图像地面修正前后对比

      1. 使用SphericalTransform,将全景视频映射到球面上,用户可以用鼠标拖动来交互式地调整视角,下左图为NUKE模拟出的交互式画面,我们将画面调整到面朝正下方,以能够完整地检视地面上的摄影机支架残影。
  2. 视角调整完毕后,便可以在当前视角上使用Roto工具进行绘制,将瑕疵涂抹覆盖,从而修复瑕疵。如图21所示,左图为调整视角后位于空间正下方的摄影及支架的残影,右图为修复后,可见原本复杂的画面残影在高精度手动修复下完全消失了踪影。
  3. Roto绘制完毕后,再次使用SphericalTransform工具将投射在球面上的画面重新扭曲回原来画面中的形状,原本模拟到空间中的方形画面再次被还原到完整画面中,通过合成技术可将刚刚使用Roto所做的修复还原到完整的画面中。修复还原地面部分画面如图22所示。
  

图22  修复还原地面部分画面

      不光是地面上的瑕疵,画面中的许多拼接瑕疵都可以通过这种方式进行修复。地面修复完成整体全景图像前后对比如图23所示,左图为修复前,右图为修复后,可以看到画面中原本布满残影的地面现在已经毫无痕迹。


  图23  地面修复完成整体全景图像前后对比

 

图24  整体色彩调整完成

      4.通过使用NUKE的整体色彩调整功能,得到高精度且色彩亮度皆相当准确的画面,为接下来的制作环节做好准备,如图24所示。
  三、特效合成
  高精度拼接制作相当于制作出高质量的原始素材,而特效合成将全景视频制作技术提升到新的高度。使用NUKE制作全景视频能够轻松地进行特效合成的制作,原因在于NUKE根本上是在三维空间中进行全景视频的制作,故而能够轻松地将画面在三维空间中模拟,进而使不同元素的合成成为可能。
  特效合成首先得回到CameraSolver摄影机解算器,摄影机解算器解算出的摄影机空间结构是进行合成的关键。要使用到摄影机的结构数据,就得使用CameraSolver中的一项功能,即摄影机输出,如图25所示。


  图25  摄像机输出

      上图为CameraSolver中的输出选项,点击Create即可在NUKE中导出摄影机的节点工具。这一组工具中包含了坐标系Axis,十个相机Camera的信息,还有将他们组合在一起的场景节点Scene。每个Camera包含了其空间位置、镜头畸变和焦距等信息。摄像机解算出的所有摄像机节点如图26所示。

图26  摄像机解算出的所有摄像机节点

 

图27  输出摄像机信息为FBX格式文件

      为Scene节点添加一个WriteGeo输出节点能够将场景数据输出为FBX等三维格式,并在三维软件中使用,从而制作匹配场景的三维元素,如图27所示。


  

图28  在Maya三维软件中打开FBX文件

      将FBX导入Maya,可见摄影机的位置、关键帧等信息已经设置完毕,如图28所示。
  在三维软件中完成合成元素的制作后,返回NUKE再使用SphericalTransform工具进行合成。类似于之前优化拼接的过程,利用Merge合成节点将元素合成入场景中,如图29所示。

图29  返回NUK进行元素合成


  上述内容为目前全景影像后期制作的标准工作流程之一,由于该工作流程以及相关技术是今年5月份才刚刚出现,必然存在很多细节问题和局限性,有待于经过实践创作经验以及更多研发工作来逐步完善。希望通过本文,可以为广大电影技术研发人员及业界技术人员提供一种思路,为全景影像技术的发展作出绵薄之力。

 下载专区 -  会员注册 -  关于我们 -  联系我们 
 
京ICP备05029147号-1
京公网安备11010802012615号
中国电影科学技术研究所 国家广电总局电影技术质量检测所
版权所有,未经许可不得转载