沙核科技(北京)有限公司

SIF 2025嘉宾演讲 | 郭雪纯:用虚拟制片技术让VR沉浸式影像打开想象力的边界

10月15日,由沙核科技主办,朝阳文旅集团协办,佳能(中国)有限公司作为战略合作伙伴,法国文化中心、中央美术学院美术馆、阅文集团、腾讯动漫、咪咕新空担任支持单位的 2025 砂之盒沉浸展(以下简称:SIF 2025)在北京悠唐皇冠假日酒店 & THE BOX 朝外丨年轻力中心 A馆盛大开幕。

在2025砂之盒沉浸展暨第二届佳能VR创作者大会主题演讲环节,九转棱镜(北京)科技有限公司总经理郭雪纯的分享主题是“用虚拟制片技术让VR沉浸式影像打开想象力的边界”。郭雪纯在演讲中表示:虚拟制片技术正成为突破VR沉浸影像边界的核心引擎。九转棱镜凭借佳能的相机与镜头打造了全链路创意与技术能力,并通过LED屏幕、精准相机追踪与元数据同步,将虚拟与现实无缝融合。这项技术不仅让创作者能“所见即所得”去实时预览画面,更能高效完成一镜转场、动态飞行等这些对于传统拍摄来说难以实现的镜头,为影视、广告行业及线下的沉浸体验开辟了全新维度。

以下是「用虚拟制片技术让VR沉浸式影像打开想象力的边界」演讲原文:

▲九转棱镜(北京)科技有限公司总经理 郭雪纯

大家下午好!我是一个创意人,也是一个广告人,也是个导演,更愿意管自己叫讲故事的人。

今天特别开心的是能参加VR沉浸演讲,为什么我有这么多身份?是因为我们有比较重要的一个DNA,我们一直把创意内容和技术做非常强的绑定,我们把内容生产作为我们一个非常重要的身份。

今天给大家分享虚拟制片跟VR沉浸式影像的结合,也是希望能够通过虚拟制片的方式,能够让我们VR沉浸式影像从记录变成创作。因为我们做了很多片子,包括尝试VR180度沉浸式影像,遇到一个很大的问题,我们很难将一些奇奇怪怪的想法在一个180度的影片里做一个很好的呈现,因为我们不管后期视效的流程,还是我们能去置景跟玩的东西,相对都是比较高成本跟相对比较难,或者更小的像我们这样终端的内容生产公司很难去做的。

所以,我们一直可以从全链路生产内容。因为我们本身是广告的DNA开始,包括内容生产,包括数字内容的制作,包括技术的突破,也是国内现在少有的虚拟制片内容,数字内容的生产上比较全链路去做这样一个生产的。

我不管从商业项目、广告,我们自己做的影片,包括做电视剧、广告等做了很多这样的项目。我为什么说讲故事呢?更核心一点,我们通过不同的媒体媒介去讲述一个有趣的故事。

所以,我们也做了一个厂,通过这个厂自己生产了很多内容,我们有自己独立的硬件,有自己开发的使用虚拟制片软件。

什么是虚拟制片技术,大家不会太陌生这个东西,因为也不是一个特别新的概念。还是想跟大家重复一下,什么是虚拟制片,就是一个可视化内容生产的工具。大家一直觉得虚拟制片技术是在一块LED面前进行拍摄,只是虚拟制片最后的拍摄方式,之所以叫虚拟制片而不叫虚拟拍摄最核心的一点是一个全新的制片技术,从全流程开始就进入可视化,不管是从剧本开始、导演的分镜摄影指导,在我们拍的每部片子都在计算机前通过虚幻引擎完成了两到三次拍摄,包括美术和置景,数字资产制作,这样才是从一个全链路通过可视化方式,将我们现场确定的很多东西,在前期全都确定了。

所以,在虚拟制片领域里,我们可以做很多事情,不管VP也好、全实时都可以做,很多应用领域,已经全链路都有在做,电视剧、广告、节目、线下等等。其实这个技术,从很早期就有,不是一个完整的、全新的创造技术。不管是很早期的跑马跑火车背后搁这些景,而到《阿凡达》的时候,我们有了全新的虚拟相机介入,再到知名的《曼达洛人》的出现。

其实,虚拟制片最核心的技术不是技术多伟大,而是源于我们创作者非常重要的想提前看见的冲动,其实这跟我们做180度能看见更多也是有非常重要的关联。整个虚拟制片技术里边,虚拟的是我们的空间,但真正我们需要使用的是一个有价值的、好的相机。

我们长时间跟佳能合作过程中,一直在用C400这样一台全新电影机,有非常重要的一点就是元数据,对于我们很重要的一点,这跟VR180度一定的关联。很重要的一点,我们对平面的改变。刚才得到看到那张图,上世纪背后搁着是一个平面,包括后面这个屏幕。对于相机来说是一个平面,对于我们想去欺骗消费者看到的是一个空间的情况下,我们需要用镜头元数据,焦点平面也好,物理空间也好变得无限。

所以,C400这台机子非常重要的一点,可以实时、非常快速通过插件的方式,提供这样一个元数据。这就是我提到的焦点,非常重要的一点,对于传统来说是一个平面,对于我们的真实相机来说,可以结合跟数字引擎、虚拟引擎的一个结合,将焦点能够送到屏幕后,成为一个真实可见的空间。

所以,我们去年也是跟佳能合作拍了C400的影片叫《飞梦》,大量使用了虚拟制片技术的特性,我们也是在两天时间不到完成了6-7个场景的同时拍摄。

我们原来可能需要丛林里去拍、海边去拍、城市里去拍,现在完全在一块屏幕面前完成拍摄,这对VR来说也是一样的。刚才我提到,为什么要拿一个记录变成一个创作,我们如何打开内容创作者可以通过创造这些内容,就能完成脑中的片子是很重要的事情,而不是依赖于后期,或者我们现在有一个景别。

这是一些预演、生物资产、变焦等拍摄的方式,比如说一镜到底的镜头,原来很难实现,现在比较简单可以实现这样的调度,包括大量生物资产的使用,我们也不需要在后期去K,现场演员可以看得见,可以非常直观,实时完成这样一个拍摄。

这两个片子,一个是我们自己投资拍摄了中国第一部全虚拟流程的剧情长片,证明虚拟制片技术可以完成一部电影完整拍摄,这个片子我们只用了12天。

另一个我们跟央视B站一起创作的《七十五年正年轻》的献礼影片。在整个《流浪者号》制作过程中,我们大量使用了虚拟制片技术去完成在国内可能很难,在一个相对合理和低成本的情况下去完成的科幻片。我们通过虚拟制片技术,就可以完成。这其实对于创作者来说是可以大胆去想象他的故事、剧情或者画面,而不是完全依赖于后期实效的方式去完成。

可以看到,在整个宇宙飞船里有一个非常大的走廊空间,这个走廊纵向就21米,整个空间也是围绕着这里面有很多的戏。我们在现场拍摄的时候,只依于六面真实的墙,上面用虚拟空间去做相应的结合跟调度,完成了整个片子的拍摄。

包括跨空间拍摄,也可以非常直观通过这样一个方式完成,大大减少了我们物理置景成本的浪费,提前做好这些预演,也可以在现场完成这样镜头设计的时候非常快速。

我们也可以去问题一些跨越屏幕空间的拍摄,我们真实的镜头跟虚拟镜头去做调度的结合,也可以打破我们本身这个屏幕的界限。

像《七十五周年》这种影片,我们是在4分钟故事里横跨了中国七十五年的建国历程,我们还原1949年的北京,抗美援朝的场地,包括50年代的工厂,都是非常快速,而是在两天时间完成了所有拍摄。

其中比较好玩是这样一个调度的场景,这个场景也是在传统制片内很难能够完成这样一个拍摄的,我们通过一镜到底的跨度,将整个时空从50年代跨到了70年代的深圳,从一个工厂变成了一个深圳的楼顶。而这样的方式,在传统的或者其他真实场景拍摄下是一个非常难的调度,对于虚拟制片来说是非常好完成的调度,让这个片子多了很多这种镜头的趣味。

我说技术跟创意很重要,我们也是给古偶剧、仙侠剧做了很多这样飞行的开发,多数据联动,可以实时操纵,这一套技术第一个应用在《凡人修仙传》里,我们去年在拍的时候,大量的杨洋的飞行,全部使用了这样的飞行技术。包括这里大量使用了我们的虚拟制片技术进行这样的拍摄。

我想跟大家说,所有这些技术都来源于我们想象力可以能够给大家提供更好的去产生创作欲望,并且能实施出来的一种方式,虚拟制片就是一个非常好的技术可以帮助去让所有的东西可视化,并且可以记录下来。

所以,通过这个给大家分享,不管是多好的技术,多么重要的科学研究,我们今天在做一个创作,在做一个内容制作,我们就要在艺术跟技术,在美学跟科学中找到平衡点,去做这样一个内容创作。

所以,我们就有了新的尝试,我还是挺兴奋的能够参与到用虚拟制片完成VR180度3D影像的一个创作。我们正好跟中国航天部门有一部科普的院线电影叫做《月球180天》,讲的也是我们中国人首次登月之后在月面建造基地,并长时间生活的一个很有爱、很热血的故事。

这里我们也是用C400大量完成了拍摄,可以看到整个现在拍摄空间里,比我们在拍《流浪者号》使用了更少的墙体,这里只用了两面墙。因为有真实焦点的转换,远景的焦跟中景、现实中的焦点,可以做到非常完美统一,才让我们的观者非常相信这个空间是真实存在的。

我们第一次进到基地里,这个空间里面我们也只用到了四面墙,完成了整个空间的构建。这里面大家很难找到哪些是真,哪些是假。如果我今天不说是虚拟制片拍的,很多人都会觉得是一个真实存在的空间。

大家可以通过花絮看到,在整个空间里就是这些墙组成的。我想跟大家说,我能用C400传统影像记录下来,我们就想有没有可能用180度的影像身临其境让我们的观看者可以在这个空间里面,感受一个完全不一样的故事。

所以,我们当时正好在做一个登月舱,也是这个故事里用的。整个登月过程前面做了一个,用我们的屏幕模拟整个登月过程。登月过程,我坐在里面体验的时候,觉得这太真实了,好想让别人感受这个,就像玩迪斯尼一样。

我们当时跟佳能一拍即合,决定用180度的方式,去拿整个登月的过程完成一个记录。所以,我们在整个拍摄过程中,总共使用了这些设备,我们用到了C400,很大原因是因为我刚才提到的元数据的功能,可以在大场景拍摄的时候,能够提供稳定的元数据的支持。相对遗憾一点,确实没有R5C带给我们8K最终的分辨率高,它可能只有6K。但是,针对我们在里面看还好,镜头我们也是用双鱼眼的镜头。

这是我们整个的舱,当时我们没想搭这么大,如果传统拍摄没有必要搭出一整个舱。因为是180度的影像记录,不得不把整个舱做出来,因为确实能拍到更多,也没有办法放影视灯,只能所有做成了道具灯,像一个更真实的月面登陆舱。确实有一些当时需要考虑的问题,也是在传统拍摄的时候没有遇到的,只有真实拍的时候才会遇到。包括跟屏幕的协调问题,我们要看到的真实影像观感会不会好,甚至很重要的一点,我能不能看到回放这件事情。

当时也是跟佳能合作,我们一起去搞定了实时观看的事情,通过NDI方式直接回传VisionPro上,直接在现场看到整个画面的反馈。

这件事很重要的一点,我们可以像虚拟制片一样,让VR180度的创作,可以引进更多专业人士去完成。我说得专业人士是传统影像的专业人士,比如说我们的摄影指导,他第一次使这台机器的时候也很兴奋。当然整个设置跟机位的取放完全都不一样,我们也是摸着石头过河,包括剪辑的方式、机位堆叠。

所以,我们可以真正开始通过虚拟制片的方式,能够引用我们的专业流程的人,可以开始进行内容创作了,而不仅仅是一个风光或者一个纪录片的记录了,这在创作上是非常大的一个跨越。

在整个画面里,我们也做了不同的机位,像正常影视剪辑一样做一些切分。因为现在片子还在轮标阶段,没有办法跟大家放太多的东西。整个登月过程从起飞到着陆,都有做相应的模拟,用户在180度观看环境下,你就是登月者之一,我们希望是一个主观的方式,而不是一个相机的方式,让大家能够体验到整个登月的过程。

近临月面之前的沉浸感,我们也结合很酷的空间音效,让大家更相信自己确实在身临其中,我们也会做一些切镜的处理,像传统剪辑一样,看上去不枯燥。

这是我想跟大家分享的,结合虚拟制片技术,很重要的一点,能让我们的创作者在现场可以看到,从而使用这样的虚实结合,去简化我们本身要去很复杂完成这样的视效。毕竟VR180度的视效制作,难度远远大于我们传统视效的方式,这也阻碍了中国很多想讲故事、会讲故事的人的创作。

我们后面还做了很多的测试,刚才大家看的只是在舱内。这是现场的时候,这个月球基地我们只搭了前面那个门,后面的那些所有毫米级的衔接,都是我们直接通过虚拟制片技术做了衔接。

我们在测试的时候,我们也测试了在这样大场景下,虚拟制片是不是能扛得住,包括像C400机,我们在焦点转换上,是不是还能像原来弹幕的时候那样优秀。经过我们测试的大调度,完全没有问题,我们要保证有真的东西在,屏幕对于相机来说是没有时差的。屏幕在大景别的情况下,我们做远景的衔接处理上,头显里看不出来,而且交平面的位置也都是对的。

我们为什么做这件事情呢?因为我们180度的项目,同时直接延展了LBE的开发。优势是同样的虚幻引擎的下延,资产不浪费,我们180度的创作,其实也成为了我们LBE最开始的时候到月球的用户的沉浸使用观看的一部分。那这一点也可以让我们的LBE的玩法,可以有更多的变化,让用户更相信自己所看到的东西,从而将所有的生态可以完成一个闭环。

今天很开心看到比如有咪咕、硬件商、发行平台等,对于内容创作者来说,我今天想分享的,就是我们能够利用虚拟制片技术,可以让我们的想象力,通过一个可视化技术,赋能到我们本身现在可能在VR影像制作上,还在记录或者很难去做到科幻的题材,多视效题材上的方法。通过我们自己的探索,基本是成功的,但是基于VR180度,确实还有更多的路跟细节要去做这样的探索。

我希望虚拟制片技术可以为VR沉浸式影像打开这样一个想象力的边界,能让我们的沉浸式的视频可以有更多的科幻、更多有趣的视效,更多大胆故事的城乡。

这是我们公司的slogan,希望我们所有的创业者,可以一直仰望星空,热血沸腾,谢谢!

关于砂之盒沉浸展:

砂之盒沉浸展(SIF)是沙核科技(砂之盒沉浸展组委会)发起的,全球规模最大,级别最高的年度沉浸娱乐盛会。砂之盒沉浸展以「启发、孵化、链接全球创作者」为己任,始终致力于捕捉新兴媒介的发展脉络,鼓励和发掘更具创新性和创造力的团队,构建世界范围的交流平台,探索未来沉浸媒介的无限潜力。

作为全球极具影响力的国际沉浸产业盛会,砂之盒沉浸展(SIF)聚集了众多全球一线创作者和国际顶尖电影节专业策展人,通过峰会、竞赛、展映、创投会等单元全面呈现全球最为尖端的沉浸娱乐体验。

在过去的四届沉浸展中,SIF邀请百余位海内外行业领袖,展映约200部国际顶尖电影节入围XR作品,共颁奖30余部作品,累计参与人次超过1.5万,影响覆盖20余个国家及地区。

sif@sandboxif.com


Warning: Trying to access array offset on null in /www/sites/sandboxif.com/index/wordpress/wp-content/plugins/qode-framework/inc/icons/class-qodeframeworkicons.php on line 72

S · I · F

持续关注新兴媒介发展和演变的年度国际娱乐盛会