雷火UX | GDC2022演讲实录：基于多模态模型的游戏帧率预测

GDC 2022

今年3月21日至3月25日，全球游戏行业最具规模、最有权威、最有影响力的专业峰会GDC2022在旧金山莫斯康中心盛大召开。本届GDC中，雷火UX共获邀17场演讲，分布在9个核心演讲以及8个峰会演讲，再度刷新中国游戏行业纪录，领跑全球。

接下来雷火UX公众号将陆续为大家进行介绍。本篇为大家介绍的是来自雷火UX数据挖掘工程师睿东的演讲——基于多模态模型的游戏帧率预测。

背景

在《战意》中，玩家扮演一位使用冷兵器作战的将军：亲身上场杀敌，排兵布阵，指挥己方的士兵列阵，冲锋。《战意》的实机画面相当写实精美，尤其是在两方战斗的过程中，画面包含了大量的渲染实体，战斗特效和写实的背景环境。这些要素都给游戏优化带来了较大的挑战。

游戏优化是一个系统工程，运行帧率只是一个最终的指标。在这个复杂的系统里面可以看到典型的木桶效应。硬件、引擎、游戏层面的任何一个环节成为短板，都会导致游戏卡顿的问题。正是因为帧率预测涉及到的多重因素，所以需要更多样的特征用于预测，并且使用一些更复杂的模型来捕捉这些特征。

数据和模型

多样的数据类型

影响游戏帧率的因素能归结为两类数据：一种是静态的数据，这类数据在一局游戏中通常不会时刻发生变化，如：玩家硬件型号，渲染画质的设定，游戏资源包的大小等；另一种是时序类型的数据，这类数据常常在游戏进行的过程中得以采集，其特点是这段序列数据有发生时间的先后关系，如：硬件占用情况的序列，玩家游戏状态的序列等。

特征提取

深度学习的本质是特征的提取。对于静态类型的数据，可以采用最简单的多层感知机实现特征的提取；而对于时序类型的数据，我们通常采用循环神经网络系列的模型实现特征的捕捉。使用这两种模型实现了特征提取得到特征向量，自然地，就能用多模态模型将这些特征融合（Fusion）起来，然后统一地进入到下游的模型中得到最后预测的结果。

多模态模型

所谓多模态，即训练特征中的不同类型特征（模态）。如图像特征、语音特征、文字特征，将这类特征进行转化、表征、融合，然后实现联合的训练，使得一个模型能够同时处理多种类型的特征。人类对现实世界的感知本身是多模态的——看见物体、听见声音、触碰纹路。为了让AI也能同时处理不同模态的信号，学术界便衍生出了多模态模型的研究分支，使得模型能够同时处理图像，音频，文字，表单等多种类型的特征。

具体实施方式

在玩家登陆时一次性采集静态数据，然后在游戏过程中以日志触发的形式采集时序的数据，并将他们一并储存在基于HDFS集群的数据仓库Hive中。随后，需要对原始日志进行进一步的提取，生产出“信息浓度”更高的特征作为训练集。这一步通常会使用大数据的批处理工具帮助我们完成计算，常见的批处理工具有如spark, impala等等。最后，离线训练一个多模态的深度回归模型，对帧率的值进行预测。

多模态模型的特征融合方式繁多，如基于注意力机制和基于门结构的特征融合等等。上图所展示的便是实验中采用的一种经典的特征融合方式——特征向量拼接融合。

应用场景

提高流畅性

帧率预测模型最主要的作用就是提高游戏的流畅性：预测到帧率即将下降的时候，可以采取一些措施保证其不低于某个下限，或者减少帧率的抖动。这些措施可以是降低渲染的画质，减少非必须资源的加载等等。具体的实施方式如图所示：

将特征实时送入模型中预测，模型便会返回一个帧率预测的结果，引擎收到模型的预测结果后，选择一个合适的渲染策略，然后据此渲染出实时画面。

挖掘关键因素

帧率预测的另一个作用是挖掘影响帧率的关键因素。通过分析模型判断帧率即将下降的依据，从而推断出游戏帧率的优化瓶颈。长期以来，深度学习的模型都被视作黑箱，于是业界衍生出了解释模型的研究分支。常见的方法有蒙特卡罗方法，遮罩法等等。这些方法能够帮助人们判断模型是依据什么得出预测结果的，从而找到哪些特征和帧率下降有更高的相关性，然后挖掘出当前版本游戏的性能瓶颈。