PNAS：对艺术品的记忆是可以预测的

观看艺术通常被视为一种高度个人化和主观的体验。然而，是否有普遍的因素使一件艺术作品令人难忘呢?我们进行了三个实验，在这些实验中，我们记录了来自芝加哥艺术学院的4021幅画的在线记忆表现，在不受限制地参观艺术学院后测试了亲自记忆，并获得了这些作品的抽象属性测量，如美和情感价。参与者在网上和面对面的记忆中都表现出了显著的一致性，这表明作品具有一种内在的“可记忆性”，这种“可记忆性”仅仅基于它们的视觉特性，可以预测在自然博物馆环境中的记忆。重要的是，ResMem是一种深度学习神经网络，旨在估计图像记忆能力，它可以根据图像单独在线和亲自预测记忆，而且这些预测无法用其他低级或高级属性(如颜色、内容类型、美学和情感)来解释。由ResMem和其他刺激因素组成的回归可以预测多达一半的面对面记忆表现差异。此外，ResMem可以在没有文化或历史知识的情况下预测一件作品的名气。这些结果表明，绘画的感性特征在影响其成功方面起着重要作用，无论是在博物馆参观的记忆中，还是在几代人的文化记忆中。

为什么我们记得看到过一些艺术作品，而不是其他的?我们可能倾向于认为这种体验反映了风格偏好、个人判断，甚至是一个人与一件作品的情感联系。当你浏览艺术博物馆并将这段经历储存在记忆中时，许多其他因素可能会影响你的记忆，比如你的注意力或疲劳程度，你与周围人的社交互动，你以前与艺术品的经历，以及你如何浏览展览。然而，一个人对一件艺术品的记忆可能与观察者的关系比预期的要小，而是与艺术品本身的属性有关。艺术品可能具有内在的可记忆性，这反映了一件给定作品被观众记住的可能性，这纯粹是基于它的视觉特性。人们对各种各样的刺激，如人脸图像、自然场景照片、单词，甚至舞蹈动作的记忆和遗忘是高度一致的，这表明刺激有一种内在属性，可以在观察者之间进行概括。图像记忆性已被证明独立于其他面向观众的特征，如注意状态、动机和个人偏好。此外，虽然图像周围的环境对记忆有明显的影响，但图像本身具有可分离的记忆性，无论周围的图像如何，它都会影响记忆。这是令人兴奋的，因为它表明，记忆力可以从单个图像中计算出来，并用于预测人们在不同任务中的记忆。事实上，在显式有意记忆任务中测量的记忆能力可以成功地预测内隐偶然记忆任务中的记忆能力，并且记忆效应会持续很长时间[1周，甚至可能是几年]。

艺术品提供了一个有趣的测试案例来检验人们记忆的普遍性。观看艺术作品通常被理解为一种主观体验，艺术家或博物馆馆长的目标往往是在观众的记忆中留下持久而有力的影响。参观艺术博物馆可能是我们在实验之外为数不多的几次观看一系列静态图像并试图记住它们的机会之一。重要的是，如果一幅图像有内在的感知方面，使它令人难忘，那么就有可能在现实世界中对人类记忆进行磨练预测。在这里，我们通过在线实验和亲自参观博物馆来确定影响绘画记忆的因素。我们表明，我们可以有针对性地预测人们会记住哪些作品，就像我们可以预测哪些作品在文化上出名一样。

1. 结果

我们进行了三个实验，设计并测试了一个模型，用于预测哪些艺术作品会对一个人的记忆产生持久的影响。在实验1中，我们从芝加哥艺术学院的在线数据库中收集了所有可用的4,021幅画的记忆性能度量。3216名独特的参与者在在线实验平台Amazon Mechanical Turk上进行了连续识别任务，在那里他们表明了他们对50幅目标画的随机子集(旧/新)的记忆，这些画与来自同一图像集的foil混合在一起(图1A)。通过平衡，每幅画被至少40名参与者视为目标图像。我们计算了每一件作品的“记忆分数”，作为这些参与者的正确识别(CR)分数，用命中率(HR)减去误报率(FA)来衡量。

我们的第一个关键问题是参与者是否倾向于记住和忘记相同的片段，还是他们的记忆是特殊的。一项跨越1000次迭代的对半一致性分析表明，随机的一半参与者对他们记住和忘记的画作有显著的一致性。这表明艺术作品确实具有跨越参与者的内在可记忆性。受试者的记忆表现存在较大差异;在记忆性的每一个极端的例子如图2所示。我们公开了所有的记忆数据，形成了最大的具有记忆性能测量的艺术品数据集(https://osf.io/vhp5d/)(16)。

图片

图2 来自芝加哥艺术学院的范例作品及其记忆分数

接下来，我们在这个在线实验中评估了我们预测记忆力的能力。我们使用了ResMem，这是一种深度学习神经网络，用于基于主要由真实世界照片组成的训练集来预测图像的可记忆性。先前的研究表明，ResMem预测与成人在类似的连续识别任务中对大量照片的记忆表现显著相关，但尚未对艺术作品的记忆预测进行测试，因为艺术作品在视觉内容和更高层次的因素(如意义和文化背景)上差异很大。对4021件艺术品的ResMem预测显示与在线人类记忆表现显著相关，这表明ResMem可以预测人们在在线实验中会记住的艺术品。

更重要的是，我们试图测试我们在现实世界中预测艺术记忆的能力。在实验2中，单独的参与者(N = 19)在艺术学院的美国艺术区进行了面对面的实验。参与者被要求按照自己的节奏自由探索翼楼的每一层，观看所有的绘画，然后离开到走廊，在那里他们用手机进行移动实验(图1B)。这个移动实验向参与者展示了机翼上所有162幅画，并要求参与者指出他们对每幅画的记忆，其中混合了与内容、地区和时期相匹配的箔画。

面对面的参与者在1000个随机分成两半的片段中，他们记住和忘记的片段显著一致。接下来，我们创建了一个多元回归模型来测试我们的神经网络ResMem预测真人记忆的效果。由于这些部分在现实世界中彼此共存(图3)，我们还包含了ResMem无法访问的这些部分的现实世界属性的预测器。具体来说，我们包括了每幅画的物理尺寸(以平方厘米为单位)，它的楼层(第一层或第二层)，同一房间内其他作品的平均可记忆性，以及同一房间内其他作品的平均尺寸(参见模型规范的材料和方法)。该模型显著预测了人们在博物馆的记忆。在ResMem的预测因子中，ResMem能够显著预测棋子的现场记忆，尽管周围棋子的记忆没有影响。较大的画作也被更好地记住，具有显著的相互作用，当较小的画作被较大的画作包围时，记忆能力会得到提升。二楼的画作也更令人难忘，可能是由于每层的绘画风格和内容不同。

图片

图3 芝加哥艺术学院美国艺术馆的地图。数字表示画廊的房间号。每个房间的颜色都是根据该房间内绘画的平均可记忆性(命中率，HR)来决定的，其中绿色的房间更令人难忘，红色的房间更容易被遗忘。

接下来，我们深入研究了视觉和主观属性，这些属性可能会影响一件作品的可记忆性，或者解释ResMem成功预测的原因。在实验3中，我们要求在线参与者(N = 40)根据其美感、情感效价、兴趣和熟悉程度，以五分制对所有162幅面对面的目标画作进行评分(图1C)。之所以选择这些特征，是因为它们似乎最直观地预测了人们对艺术品的记忆(例如，更有美感的作品更容易被记住)。我们还收集了每一块的低水平视觉特征，特别是测试颜色(色调、饱和度和亮度的平均值和标准差)、光谱能量和杂波。我们还根据内容类型(抽象、室内场景、室外场景、面向对象或肖像)和人物的存在对每个片段进行了分类。

图片

图1 实验1-3的方法

除了杂乱程度越低的记忆片段越容易被记住之外，低级别的视觉属性与面对面的记忆表现没有相关性。可记忆性不会因绘画内容或人物的存在而变化。亲临记忆也显示与美、熟悉程度或情绪的评分没有关联，也与情绪强度无关。然而，记忆表现与人们对作品的兴趣程度显著相关。我们将主观属性纳入多元回归模型，观察到预测的改善，赤池信息标准降低。所有先前的显著回归因子仍然是面对面记忆的显著预测因子，包括resmem预测的记忆能力，油漆尺寸，与周围碎片尺寸的相互作用，地板。美、熟悉度和情绪是不显著的预测因子，尽管兴趣是显著的预测因子。数据驱动的逐步回归包括本研究中测量的所有属性作为可能的预测因子也保持了resmem预测记忆性的显著独特贡献。这些模型的高R²表明，记忆中一半的差异可以通过观察者外部的这些因素(例如，图像记忆性，绘画尺寸，周围的作品)来操纵。这些结果还表明，ResMem对记忆的成功预测超出了任何主观属性的影响，比如一件作品有多有趣，也不能用颜色或作品的一般内容等低级特征来解释。此外，令人惊讶的是，一件作品的美或情感等特征并不能预测你记住它的能力。我们已经证明，无论是在在线记忆实验(实验1)中，还是在亲自参观博物馆(实验2)中，ResMem神经网络都可以成功地预测人类的记忆。此外，ResMem的成功不能完全用绘画的其他低级和主观特征来解释(实验3)。

预测人类记忆能力的最有力测试是评估哪些作品在跨代和跨社会的文化记忆中经久不衰:一件作品的名气。美术馆数据库中的216幅画作被美术馆馆长在美术馆在线数据库中标注为“提升”，因为它们特别有名，值得额外宣传(比如文森特·梵高的《自画像》、乔治亚·奥基夫的《牛的头骨配上花布玫瑰》和格兰特·伍德的《美国哥特式》)。由于这些片段的熟悉度极高，因此有意将其排除在本文报道的所有实验之外。然而，我们收集了每幅画的ResMem记忆评分预测。我们发现，尽管ResMem不了解艺术史、文化意义或文化背景，但这些名画的ResMem预测记忆性明显高于未增强的画作。这些结果表明，一幅画成功的部分原因可能是这幅画内在的视觉特性，使它能在人们的记忆中持久存在。

2. 讨论

在这里，我们展示了神经网络ResMem的非凡能力，它可以预测画廊中艺术品的记忆，以及一件作品的名气。这个模型可以作为一个强大的工具来帮助设计作品和画廊，以确保对观众的记忆产生最大的影响。我们还确定了在现实世界中影响记忆的其他因素:它的大小和它引起的兴趣程度。一个结合所有因素的模型能够预测多达一半的记忆性能差异，这表明图像的大部分记忆是外部的观察者，可以被操纵。这对艺术家和策展人有重要的意义，他们可以通过改变这些因素来控制观众的记忆。令人惊讶的是，许多其他因素，如美、情感或颜色，似乎对一件作品的记忆能力几乎没有影响。这些结果突出了人们对艺术记忆的惊人一致性——虽然艺术欣赏感觉完全是一种主观体验，但在我们的记忆中，有一些类型的作品是普遍的。

剩下的一个重要问题是，ResMem是用什么来确定一个作品的内在可记忆性?几项研究表明，与周围图像相比，图像的独特性会影响人们的记忆。然而，在这里，我们分离了单个图像固有的可记忆性属性，并且可以从图像上下文中分离出来——正如ResMem在没有任何上下文信息的情况下预测可记忆性的能力所示。事实上，最近的研究表明，项目可记忆性和实验背景对记忆的影响是可分离的，而且项目可记忆性可能更多地与刺激的原型性有关，而不是其独特性。未来的工作可以在当前模型的基础上进行扩展，除了图像记忆性之外，还可以结合集合相似性或混淆性的测量，从而更好地预测记忆。在使图像易于记忆的特征方面，先前的工作表明，图像的可记忆性更多地依赖于图像的高级语义属性，如所描绘的功能，而不是低级视觉属性，如颜色、对比度或边缘。鉴于我们有限的记忆容量，记忆效应被认为反映了我们的大脑如何根据世界的视觉统计来优先考虑应该编码的视觉信息。事实上，最近的研究表明，令人难忘的图像往往会更快地恢复，可能会导致更有效的处理状态，并且可能是最成功地通过视觉工作记忆瓶颈进入长期记忆的项目。事实上，不那么杂乱的东西更容易让人记住，这可能支持了这样一个观点，即更容易处理的东西往往更容易让人记住。然而，基于先前的工作，它似乎不是这样的情况下，令人难忘的图像只是驱动更高的注意力。研究仍在进行中，以了解使图像令人难忘的确切因素。事实上，虽然一般人对什么是值得记忆的东西有不同的见解，但这低于ResMem的预测，但有些艺术家可能对可记忆性有特别好的直觉，从而使他们的作品取得成功。因此，与艺术家的进一步研究可以为作品令人难忘的因素提供富有成效的发现。例如，一个人可以创造出新颖的作品，故意改变记忆性，没有事先熟悉的机会。与此同时，这项工作对广告、教育、博物馆管理、艺术创作等领域有着深远的影响，并且已经显示出改进早期阿尔茨海默病诊断测试的潜力。总而言之，尽管艺术创作和观看都具有高度的个人性质，但我们对艺术的记忆却出人意料地具有可预测性和普遍性。

3. 材料和方法

3.1 实验1

3.1.1 被试

共有3216名成年人参与了在线实验平台亚马逊土耳其机械(AMT;女性1653人，男性1383人，其他180人;图像= 39.0,SD = 12.4)。为了被招募，参与者必须位于美国，对至少50项先前任务的支持率至少为95%。参与者还必须正确回答三个基本的英语常识性问题，并在记忆任务中至少正确按一次键，才能通过任务。招募的参与者数量是根据对数据库中的每张图像获得至少40个评分的参与者数量来确定的，因为在之前的工作中，40个评分足以估计单个图像的记忆分数。所有实验的参与者都同意参与，并获得了他们的时间补偿。完整的研究方案已获得芝加哥大学机构审查委员会(IRB19-1395)的批准。

3.1.2 刺激

《刺激》由芝加哥艺术学院(https://www.artic.edu/collection)网上收藏的4021幅画组成，其中725幅在博物馆展出。这些绘画跨越了多种媒介和内容，由丙烯酸、油画、蛋彩画、水粉和水彩组成，在画布和木板等二维基底上。我们排除了在在线数据库中标记的片段:1)图像质量低(例如，像素化)，2)全文片段(例如，书页)，3)在其在线图像中包含相框，4)三维片段的照片，或5)具有极端的宽高比(即，极宽或高)，这将阻止在在线单页中查看该片段。对于每个刺激图像，我们也从艺术学院的在线数据库中保存了有关该图像的信息。该数据库包括有关绘画标题、介质、衬底、尺寸(以厘米为单位的高度和宽度)、颜色(色调、饱和度和亮度)和风格的信息。该数据库还将216件精选作品标记为“提升”，这些作品特别著名，值得额外宣传(例如，文森特·梵高的《自画像》，乔治亚·奥基夫的《牛的骷髅》和花布玫瑰，格兰特·伍德的《美国哥特式》)。我们从所有实验和实验分析使用的4,021个集合中排除了这些增强的片段，以避免高度熟悉对记忆的影响。然而，我们确实用ResMem神经网络分析了这些片段的可记忆性

3.1.3 流程

参与者参与了一个连续的识别任务，就像之前的工作中使用的那样，以获得照片的记忆分数。参与者观看了256张图像的流，每当他们从序列的早期识别出重复的图像时，就必须按“R”键。每张图像的呈现时间为1200毫秒，中间刺激间隔为800毫秒。其中50张是目标图像，这些图像的重复时间至少晚了30秒。其余的图像是填充箔图像，其中一些在短暂的间隔(1到5张图像)后重复，以保持参与者的警惕性。从参与者的角度来看，没有区分目标和陪衬图像。图像是在个体参与者的实验中伪随机选择的，这样4021个刺激中的每一个都被至少40个参与者视为目标(箔也来自4021个刺激池)。对于每一张图片，我们计算出它的人力资源，即正确识别出这张图片是重复的参与者的比例，以及将其视为重复目标的参与者的比例。我们还计算了它的误报率(FA)，即在第一次呈现图像时按下“R”键的参与者，在那些将其视为目标的参与者中所占的比例。我们计算了每个图像的记忆分数作为CR率，或HR-FA。先前的研究表明，记忆效应无论使用HR、FA、CR还是d-prime来衡量记忆能力，都是有效的。实验耗时约9分钟，参与者每人获得100美元的报酬。

3.1.4 分析

为了测试参与者是否对他们记住和忘记的图像表现出一致，我们在1000次迭代中进行了二分一致性分析。对于每次迭代，参与者池被随机分成两半，并计算每个参与者一半内的每个图像的CR评分。然后我们计算了两组CR分数(从每个参与者的一半)的斯皮尔曼等级相关性，并用斯皮尔曼-布朗分半信度校正对其进行了校正。最后的一致性作为1000次迭代的平均相关系数。P值是通过排列测试来估计的，通过洗牌两个参与者一半中的一个的图像顺序，然后将其与另一半相关联。这提供了对零假设的估计(参与者之间没有关系)。将最终的一致性与1,000个洗牌的空相关性进行比较，以提供最终的P值。

3.2 实验2

3.2.1 被试

芝加哥地区的20名成年人参加了这次面对面的实验。只有在过去6个月内没有参观过芝加哥艺术学院的参与者才会被招募。一名参与者由于行动不便中途退出，最终N = 19(11名女性，8名男性;图像= 24.1,SD = 7.2)。在参与者完成实验后，艺术学院关闭了侧翼进行翻新，并从此改变了侧翼的作品。

3.2.2 刺激

这个实验的目标图像是来自芝加哥艺术学院美国艺术分部的162件未增强的作品。我们还选择了166张铝箔图像用于移动记忆实验。。陪衬图像是从4021幅画作的大数据库中挑选出来的，并被选中在与目标画作相同的地区、时间段和媒介中制作。在可能的情况下，陪衬画也从与目标画相同的艺术家中选择。这个选择过程是为了确保参与者依靠他们对特定作品的记忆，而不是像绘画风格或主题这样的更一般的特征。目标和陪衬图像也是实验1中使用的4021幅画作的一部分。我们还收集了162幅目标画的空间特征。为了找到每幅画的确切位置(墙、画廊和地板)，我们绘制了美国艺术翼的地图。这使我们能够确定哪些画在同一个房间(画廊)。我们还从艺术学院的在线数据库中检索了每幅画的物理尺寸(以平方厘米为单位)

3.2.3 过程

每位参与者都被指示参观美国艺术翼的两层楼，并观看该翼的所有画作(具体说明见SI附录)。参与者首先在手机上完成一份人口统计调查。然后，参与者被要求参观一层(N = 11从1层开始，N = 8从2层开始)，完成一项调查(对该层的作品的记忆测试)，参观另一层，然后完成另一项调查(对该层作品的记忆测试)。参与者并没有被明确告知他们要完成记忆任务，但他们很可能猜到他们去过的第二层楼是哪层。然而，先前的研究表明，记忆效应可以在有意记忆范式和偶然记忆范式之间无缝转换。参与者被允许自由地探索机翼，没有时间或观看顺序的限制。如果参与者和朋友一起来，他们也可以自由地与朋友互动，但被告知在实验完成之前不能讨论任何与实验有关的事情。实验者并不总是在所有参与者的试验中都在场(因为指示是通过电子邮件发送的，见SI附录)，但是当实验者在场时，他们在自由探索博物馆的过程中与参与者分开。该实验是在美术馆因新冠肺炎疫情而只能容纳25%的情况下进行的，参与者可以在没有拥挤人群的情况下自由观看作品(美术馆通常每年有150万名游客)。当参与者看完每层楼的所有画作后，他们被告知要到走廊里的一个座位上，那里看不到任何画作。然后，他们在手机上完成了自定节奏的调查，在调查中，他们观看了随机混合在一起的162幅画和166幅箔画。每个调查都包含给定楼层的目标绘画，以及适当的陪衬图像子集。参与者必须标记他们是否记得看过每幅画，从1(绝对不记得)到5(绝对记得)。在我们的分析中，1、2或3的评分被取消，表示没有记忆，4和5的评分被取消，表示有记忆。除了免费进入艺术学院外，参与者还获得了10美元的时间补偿。

3.2.4 分析

在这个实验中，对一幅给定画作的亲身记忆是通过它的HR来衡量的，或者是成功识别出在博物馆看过这幅画的参与者的比例。我们没有这些图像的FA率(只有匹配的陪衬图像)，因为机翼上的所有画作都是目标。为了检验影响亲身记忆的因素，我们测试了一个多元线性回归模型。在这个模型中，我们的目标是在图像级别上进行预测。

3.3 实验3

3.3.1 被试

在在线实验平台多产上招募了40名参与者对这些画作进行主观评分(25名女性，15名男性;Mage = 37.4, SD = 12.5)。为了被招募，参与者必须位于美国，对至少50个先前的任务有至少90%的支持率，并且英语是他们的第一语言。

3.3.2 刺激

实验2中的162幅目标画被用于本实验。

3.3.3 过程

参与者看了40或41幅画的一个子集，以随机顺序呈现。对于每幅画，他们被要求按照1到5的李克特量表对每幅画的四个属性进行评分。参与者给它的美打分(“你觉得这幅画有多美?”):一点也不美到极致美)，2)它的情感(“你在看这幅画的时候有什么样的情感?”:非常消极到非常积极);3)兴趣(“你觉得这幅画有多有趣?”:一点也不有趣到非常有趣)，以及它的熟悉程度(“你对这幅画有多熟悉?”(从完全不熟悉到非常熟悉)。这些画作在不同的实验中被平衡，因此每幅画都由10名参与者根据这四个特征进行评分。这项任务大约花了12分钟，参与者得到1.6美元的补偿。

3.3.4 分析

在多元回归模型中，将画作的平均评分作为额外的回归因子包括在内。

3.4 ResMem深度学习神经网络

ResMem是一种深度学习神经网络，旨在预测图像的内在可记忆性。其他一些神经网络也为此目的而开发，但ResMem是较新的模型之一，并显示出对其他任务和图像集的高泛化性。它的体系结构由两个处理分支组成。第一个分支使用AlexNet的架构，这是一个由8层组成的浅层神经网络，已被证明可以成功地从图像中预测对象类别，并显示出与人类视觉处理流的相似性。第二个分支使用ResNet-152的架构，这是一个152层的深层神经网络，由于其深度和通过残余连接跳过层的能力，被认为能够从图像中提取更深层次的语义信息。目前认为，与之前使用较浅架构的网络相比，这种更深层次的处理使ResMem能够提高性能。ResMem架构用近7万张图像进行了训练和验证，这些图像来自一个组合图像集，主要由各种物体和场景的照片组成。这些图像在连续识别任务中进行测试(如实验1)，并通过HR估计记忆性，用于训练网络。ResMem已被证明可以预测人类对照片的记忆表现，其Spearman秩相关系数ρ= 0.67，并已在新的图像集上得到验证，如黑白场景照片和摆姿势食物照片。然而，ResMem还没有在现实世界中用艺术品或预测记忆进行过测试。ResMem是一个公开可用的工具，任何人都可以上传图像并查看该图像的预测记忆评分(https://brainbridgelab)。uchicago.edu/resmem/)。我们使用这个公开的平台收集了每幅画的ResMem预测。

参考文献：Memory for artwork is predictable.