AR/XR+AI技术联袂打造“沉浸式”《2023年春节联欢晚会》

兔

年

大

吉

中央广播电视总台《2023年春节联欢晚会》在大量节目中使用了AR、XR技术以及虚拟制片方式，总台技术局央视数码AR团队进行内容创作和现场实施工作，对新的技术实现手段和艺术表现形式进行了创新尝试与应用，在晚会开场、《百鸟归巢》、《演武》、《满庭芳·国色》、《当“神兽”遇见神兽》、《锦绣》、《新春蹦蹦》等20余个节目中，运用多种虚拟技术为总台春晚带来了科技与艺术完美融合的视觉新体验。

AR+AI智能图像识别技术

引发创作形式革新

AR团队运用5G远程AI智能图像识别动作捕捉技术和实时物理解算技术的科技融合，实现了高效、智能、精准的动画效果呈现，让春晚吉祥物“兔圆圆”以AR角色的形式，生动活泼地与电视机前的观众见面，展现了总台春晚AR技术创作形式的革新。

▲AR吉祥物“兔圆圆”播出效果

AR“兔圆圆”在开场节目中向观众打招呼并奔向空中AR文字“2023”寓意新年到来；在《新春蹦蹦》节目中与歌手一起跳舞互动；在零点倒计时环节中向电视机前的观众拜年。

▲AR吉祥物“兔圆圆”播出效果

技术工程师使用了毛发的弹性碰撞技术，让AR“兔圆圆”的短毛发渲染效果呈现出发束感及体积感；开发了特效控制插件，精准调节角色面部的多点控制参数，使AR“兔圆圆”的表情更加丰富，并且在实施引擎中对耳朵的动作进行了物理解算，使AR“兔圆圆”的运动姿态更加自然生动。此外，还增加了大量的变形驱动骨骼，大幅度提升AR“兔圆圆”的体型柔软度。

技艺类节目《当“神兽”遇见神兽》将白泽、麒麟、貔貅、甪端、凤凰和鲲6个中国传统神话形像以AR角色的形式引入春晚现场。6个神兽在AR场景和舞台上进行表演，并与舞台上的演员多次互动，如抚摸和击掌等。AR内容与节目表演深度融合，虚实交互的艺术表现形式极大地丰富了节目内容呈现。

▲技艺类节目《当“神兽”遇见神兽》AR播出效果

AR场景制作人员重点针对现场实际空间环境对AR元素进行调整，使得二者结合更加自然、贴合，并对场景材质的美术表现进行了反复优化改进，在提升整体质感的同时确保实时渲染的AR场景内容能流畅播出；另外，在4K HDR的技术标准下，本地制作色域与播出色域存在较大的差别，制作人员对场景进行了多方位的校色，最大程度还原了设计方案。

▲技艺类节目《当“神兽”遇见神兽》AR播出效果

▲技艺类节目《当“神兽”遇见神兽》AR现场调试和播控

AR+AI智能绘图技术

打造唯美国风新奇观

在歌舞节目《满庭芳·国色》中，AR团队首次将AI绘图技术引入AR场景的创作过程。为体现2023年总台春晚舞美设计“满庭芳”的理念，AR场景设计师在创意阶段根据节目内容提炼关键词进行描述，使用AI智能生成参考图辅助AR场景设计，并从中国传统色彩体系中提炼的颜色，例如青、白、黄、赤、黑，使用晕染效果对这些颜色进行全场沉浸式的场景转换，无论从整体还是细节上，都让AR场景更加贴合节目内容和晚会主旨。

▲歌舞节目《满庭芳·国色》AI绘画及AR播出效果

除此之外，AR场景制作人员利用“次世代”物理算法引擎的技术美术手段在AR场景中放置了一个镜面结构，用以实时动态反射舞美顶部巨型花型结构和舞台上的表演，上下呼应，让春晚现场环境与节目中的AR内容进行交互，达到天人合一的奇幻效果。

AR+XR现场虚拟制片

虚实交互升华节目艺术表达

AR团队结合电影级特效制作沉浸式影片以及春晚现场AR、XR，采用虚拟制片的方式完成了重点节目武术《演武》的整体包装。

在节目的前段部分，我们使用绿箱抠像并回传摄像机追踪数据的方式，将演员动作画面与虚拟场景进行合成，并进行电影级特效制作，实现了演员在少林寺“白衣殿”中习武的沉浸式演绎。

▲电影级特效制作沉浸式影片

▲武术节目《演武》AR播出效果

在节目的中段和尾段部分，画面回到春晚现场，我们使用AR和XR技术将春晚演播厅塑造成少林寺“演武场”和“兵器场”，以及最后的嵩山山顶。为了使相对静态单一的AR场景更加的生动，我们设计了四次转化，通过光影、气候和各种元素的变化刻画“春夏秋冬”的四季氛围。

▲武术节目《演武》AR场景制作

现场虚拟制片的制作方式更加直观的对场景进行构图设计，为内容创作和效果呈现产生质的提升，从而达到沉浸式的感官体验。

▲武术节目《演武》AR播出效果

AR+光学追踪索道摄像

全方位多角度展现虚实空间

在2023年总台春晚的节目中，大量的使用了带有光学追踪系统的索道摄像（飞猫）机位拍摄AR场景，这也是总台春晚首次使用“飞猫”机位应用AR技术。AR团队利用“飞猫”机位的特点为这些节目精心设计了每一个拍摄画面景别和大范围镜头运动路径，并且创作无死角的AR场景，全方位、多角度的展现晚会现场实景、演员和AR场景之间的空间关系，为电视机前的观众提供了前所未有的观看体验。

▲歌曲节目《百鸟归巢》AR“飞猫”机位播出效果

▲技艺类节目《我和爷爷踩高跷》AR“飞猫”机位播出效果

▲舞蹈节目《碇步桥》AR“飞猫”机位播出效果

▲武术节目《演武》AR“飞猫”机位播出效果

▲歌舞节目《锦绣》AR播出效果

AR团队深度参与导演组每个AR相关节目的主创工作，根据需求对内容进行创意设计，并完成了大量的资产制作，利用基于物理算法的“次世代”4K超高清渲染引擎在技术美术层面上搭建场景和编写特效，最终在春晚直播过程中确保了固定、摇臂、电轨和飞猫4个AR机位全部内容的播出安全效果，为电视机前的观众带来了一场“沉浸式”的虚拟视觉盛宴。