【德勤技术趋势】情感计算的核心问题：认知如何计算？

编者按：欢迎关注公众号“泡杯茶看金融”，加入茶融社，一起聊财经、聊投资、聊银行。

近几年来情感计算、生物计算、认知计算的广泛的研究都取得了一定的成果。关于实现认知计算，应该解决3个问题：提出一个既符合认知机理又与计算相呼应的认知计算模型；认知表征的描述和量化；能够实现认知计算模型。

认知模型通常可以分为3类计算模型、数学模型和概念模型。认知心理学领域的认知模型以概念模型为主，概念模型采用非形式语言定性描述事物的本质、关系和过程；计算模型往往通过详细的算法描述人类认知过程的细节；而数学模型利用数学公式描述变量之间的关系，一般也被看作是计算模型的一个子集。目前主流的认知计算模型主要分为基于认知架构的符号模型和联结主义神经网络模型。符号模型（如ACT-R，EPIC，SOAR等）通常用产生式规则去解释、描述和支配脑部活动，因此只是从宏观上近似地描述人类的认知过程和结果。

实现认知计算，建立物理特征和心理表征的映射至关重要。心理学家注重外部世界的心理表征，而计算机科学家深谙物理特征的抽取和表示，因此，借鉴心理学基础理论和认知机制可构建这些映射，如视觉认知负荷与视觉显著特征的映射、舒适度与视频特征的映射、情感词语与图像色彩的映射等。

认知科学家们早已认识到，计算模型能够增强我们对认知系统功能的认识并提供理论基础和技术支持。但是，如何将已有的认知机理研究发现以及对人类认知功能模拟的计算模型发展成机器的自然环境智能感知技术，并应用于解决智能计算的实际问题，依然是智能信息处理计算模式的基础研究目标，极具挑战性。

基于计算与认知（心灵过程）等价性的假设，提出可计算的认知模型，充分融合心理学、美学等基础知识，有效地描述和量化认知表征，进而建立符合人类认知机制的计算模研型，有望实现认知计算。

面向可视媒体智能处理，我们从神经生理、认知心理、计算建模3个层面探讨了可视媒体的认知机理以及可计算性，提出了将认知过程PMJ的感知（perception）、记忆（memory）和判断（judgment）这3个阶段对应于计算流程的分析、建模和决策的PMJ认知计算模型（computational cognitionmodel of perception memory and judgment）。

PMJ模型基于人类认知的基本原理，明确了认知与计算结合的三阶段、多通路的处理框架。在该模型的支持下，我们研究了人类加工海量可视媒体的认知机制、基于PMJ模型的神经网络模型，进一步探索了模型的数学表述和理论，并实现了视觉认知负荷的定量描述、基于美学认知的图像情感预测和图像颜色修改向、基于PMJ模型的三维模型智能识别等。

PMJ模型有力地推进了认知计算从定性到定量的发展，如基于运动舒适度的双目视频编辑的、基于感知一致性的缩放图像的质量评估、基于时空一致性和动态区域对比的视频显著区域识别以及基于四元组的三维模型高效组织与检索樵等。PMJ模型为实现符合人类感知的可视媒体交互、融合与呈现提供了可实现的认知基础，提升了网络海量可视媒体智能处理的研究水平。

在认知神经网络方面，认知神经网络与认知感知、记忆和判断模型有着紧密的联系二者互相支持。前者为后者提供了一个可计算的实例以及从计算机科学角度对模型进行解释而后者则是前者在心理学上的理论依据。

从认知神经网络的介绍中可以发现邻接的结构在整个网络构成中起了极大的作用。为此，我们提出一个重要观点邻接两层结构是认知神经网络进行认知计算的基本单元。

基本计算单元包括两层相互连接的神经元两个递归神经网络各个单元彼此连接形成具有深度结构的网络。在计算单元中低层神经元感知原始输入信息并将其解读产生低级的空间模式之后将信息传递给高层神经元高层神经元感知低级区域的传入信息产生空间判断即相对更抽象和接近语义的高级空间模式通过高层神经元的横向结构对下一时刻的变化做出时间模式判断或称时间模式预测结果再反向作用于低层神经元并调整连接权重对已知模式进行加强对新模式进行更新即反馈学习过程。

需要注意的是在对网络的分析中高层神经元包括层内的完全连接形成递归神经网络，而低层神经元的横向结构属于其以及下一层神经元共同组成的基本计算单元的分析故不包括在当前基本计算单元的分析中。