方案中心 | 多模态认知计算是实现通用人工智能的关键

在如今数据驱动的人工智能研究中，单一模态数据所提供的信息已经不能满足提升机器认知能力的需求。与人类利用视觉、听觉、嗅觉、触觉等多种感官信息来感知世界类似，机器也需要模拟人类联觉来提升认知水平。

同时，随着多模态时空数据的爆发和计算能力的提升，研究者已经提出了大量方法以应对日益增长的多样化需求。但当前的多模态认知计算仍局限于人类表观能力的模仿，缺乏认知层面的理论依据。面对更加复杂的智能任务，认知科学与计算科学的交叉已成必然。

近日，李学龙教授在《中国科学：信息科学》期刊上发表了《多模态认知计算》一文，提出了“多模态认知计算能够提高机器的信息提取能力”这一观点，从理论上对多模态认知计算各项任务进行了统一。

李学龙是西北工业大学教授，关注高维数据的智能获取、处理和管理之间的关系，在“临地安防”等应用系统中发挥重要作用。李学龙教授2011年入选IEEE Fellow，并是首位当选国际人工智能协会（AAAI）执委的大陆学者。他认为，多模态认知计算是实现通用人工智能的关键之一，在”临地安防”等领域有广阔的应用前景。全文探索了人类和机器的统一认知模式，对推动多模态认知计算的研究带来启发。

AI科技评论对《多模态认知计算》一文的要点作了概括：

一、机器认知能力在于信息利用率

基于信息论，李学龙提出：多模态认知计算能够提高机器的信息提取能力，并从理论上对这一观点进行了建模。机器的认知能力即可定义为从单位数据获取最大信息量的能力，这样一来，人类与机器的认知学习便统一为提高信息利用率的过程。要想提升机器认知能力，也需从对应的三方面切入：关联、生成、协同，这也是如今多模态分析的三个基本任务。

二、多模态认知计算的三条主线

多模态关联、跨模态生成和多模态协同三个任务处理多模态数据的侧重点不同，但其核心都是要利用尽可能少的数据实现信息量的最大化。

多模态关联：源自不同模态的内容如何在空间、时间和语义层级上关联对应起来？这是多模态关联任务的目标，也是提高信息利用率的前提。

跨模态生成：在多模态认知计算中，跨模态生成任务的目标是赋予机器生成未知模态实体的能力。从信息论的角度看，这一任务的本质就成了在多模态信息通道内提高机器认知能力的问题，这有两种途径：一是提高信息量即跨模态合成，二是减小数据量即跨模态转换。跨模态合成任务是在生成新模态实体时对已有信息进行丰富，从而增大信息量，同时，将复杂模态转换到简单模态，寻找更加简洁的表达形式，则可以降低数据量，提升信息获取能力。

多模态协同：要求协调两个或两个以上的模态数据，互相配合完成更加复杂的多模态任务，并提升精度和泛化能力。从信息论的角度看，它的本质是多模态信息之间的相互融合以达到信息互补的目的，是对注意力的优化。通过联合学习，一方面能够提升模态性能，如视觉指导音频、音频指导视觉、深度指导视觉等应用；另一方面可以解决以往单模态难以实现的任务，如复杂情感计算、音频匹配人脸建模、视听觉指导音乐生成等都是未来多模态认知计算的发展方向。

三、机遇与挑战

近年来，深度学习技术已经极大地推动了多模态认知计算在理论和工程上的发展。但如今应用需求愈加多元化，数据迭代速度也在加快，这为多模态认知计算提出了新的挑战，也带来了许多机遇。

我们可以从提升机器认知能力的四个层面来看：

在数据层面，传统的多模态研究将数据的采集和计算分离为两个独立过程，这种方式存在弊端。人类世界由连续模拟信号构成，而机器处理的是离散数字信号，其转换过程必然造成信息变形和丢失。李学龙认为，以光神经网络为代表的智能光电能够带来解决思路，如果能完成多模态数据的感算一体，机器的信息处理效率和智能水平将大大提高。

在信息层面，认知计算的关键是对信息中高级语义的处理，目前多模态任务局限于简单目标和场景下的交互，而无法理解深层的逻辑语义或主观语义。所以，搭建不同模态下复杂逻辑和感受语义信息的通信桥梁，建立特色的机器度量体系是未来多模态认知计算的一大趋势。

在融合机制层面，如何对由异构部件组成的多模态模型进行高质量优化是当前的一个难点。目前的多模态认知计算大多是在统一的学习目标下对模型进行优化，这种优化策略缺乏对模型内部异构组成部分的针对性调整，导致现有的多模态模型存在较大的欠优化问题，需要从多模态机器学习与优化理论方法等多方面切入。

在任务层面，机器的认知学习方式随任务而不同，我们需要设计任务反馈的学习策略，提升多种相关任务的解决能力。

【成员动态】最新资讯速看！

2022-09-28