Kandinsky Patterns

用户1908973

发布于 2023-09-01 08:31:16

1970

发布于 2023-09-01 08:31:16

文章被收录于专栏：CreateAMindCreateAMind

https://github.com/human-centered-ai-lab/dat-kandinsky-patterns

抽象

康定斯基图形和康定斯基模式是数学上可描述的、简单的、独立的、因此可控的合成测试数据集，用于视觉任务的开发、验证和训练以及人工智能 (AI) 的可解释性。虽然康定斯基模式具有这些计算上可管理的属性，但它们同时很容易被人类观察者区分。因此，受控模式可以由人类和计算机来描述。我们将康定斯基模式定义为一组康定斯基人物，其中每个人物都有一个“无误的权威”定义该人物属于康定斯基模式。通过这个简单的原则，我们构建训练和验证数据集来测试可解释性、可解释性和情境学习。在本文中，我们描述了康定斯基模式的基本思想和一些基本原则。我们提供了一个 Github 存储库，并邀请国际人工智能研究社区参与挑战，尝试我们的康定斯基模式。目标是帮助扩展和推进人工智能领域，特别是为日益重要的可解释人工智能领域做出贡献。

1 . 介绍

人工智能目前非常成功，这要归功于 (i) 统计机器学习（“深度学习”）的进步，(ii) 大量训练数据的可用性，以及 (iii) 可用的计算能力[1]、 [2] 。此类方法的高复杂性、非线性和高维度使人类难以解释，因此此类方法被认为是“黑盒”模型[3]。

在 DARPA 可解释人工智能计划[4]的推动下，可解释人工智能 (xAI) 领域经历了巨大的复兴。由于法律和道德考虑的重要性，可解释性变得非常重要，并已成为一个重要的概念。简而言之，可解释性在技术上强调了机器表示的决策相关部分和/或有助于训练中模型准确性的部分，并且 xAI 社区已经开发了多种成功的方法。然而，可解释性并不是指人类模型。在某些应用领域，例如在医学领域，需要超越可解释性，即需要因果关系。因果关系[5]既不是拼写错误，也不是因果关系的同义词[6]。术语 Causa-bil-ity 是根据众所周知的术语 Usa-bil-ity [7]引入的。因果性被定义为对人类的解释（由可解释的人工智能方法产生）达到特定水平的因果理解的可测量程度，在特定的使用环境中通过有效性、效率和满意度来衡量——类似于可用性。这可以通过系统因果关系量表 (SCS) 来测量[8]。因此，因果性指的是人类模型，并且在将可解释性与因果性映射时可以确保理解。两者之间的成功映射需要新的人机交互界面，该界面允许领域专家交互式地提出问题和反事实问题，以深入了解结果的潜在独立解释因素[9]。在理想的世界中，人类和人工智能的陈述都将与人类和人工智能平等定义的基本事实相同且一致[8]。与地图隐喻相比，可解释性-因果关系映射是关于建立联系和关系，而不是绘制新地图。这是关于识别两张完全不同的地图中的相同区域。例如，在解释深度学习模型的预测时，我们应用解释方法（例如简单的敏感性分析）来理解输入变量的预测。这种可解释性方法的结果可以是热图。该热图可视化表明需要更改哪些像素才能使图像看起来（从人工智能系统的角度来看！）或多或少类似于预测的类别[10]。另一方面也有相应的人类概念，“情境理解”需要两者的有效映射[11]，是未来以人为中心的人工智能的宏伟目标之一[12]。

这项工作的核心动机是在使用真实数据集进行测试时缺乏基本事实。图像分类器对低级特征（例如线、圆等）而不是高级概念进行操作，并且使用领域概念（例如带有店面的图像）。通过我们的康定斯基探索环境，我们可以生成康定斯基人物和康定斯基图案以及基本事实。通过这些数学上可描述的、简单且可控的综合测试数据集，我们增强了视觉任务的开发、验证和训练以及可解释性。非常重要的是，它们同时很容易被人类观察者区分。

2 . 康定斯基图案

瓦西里·康定斯基（Wassily Kandinsky，1866-1944）是一位有影响力的俄罗斯画家[13]。随着他的职业生涯的发展，康定斯基创作了越来越抽象的图像。1922 年至 1933 年间，他在德国著名的包豪斯学校任教，该学校崇尚简单的色彩和形式。康定斯基是一位理论家，也是一位艺术家，他从审美经验中获得了深刻的意义。康定斯基的想法之一是颜色和形状之间存在某些基本关联[14]，例如他提出了黄三角、蓝圆圈和红方块。这些关联是经过反思而形成的，然而，他确实于 1923 年在包豪斯进行了自己的调查，并假设了颜色和形式之间的对应关系。随后的实证研究使用偏好判断来测试康定斯基最初的颜色-形式组合，通常会产生不一致的结果。最近的研究结果表明，原始颜色-形式组合之间不存在隐式关联，因此不能被视为视觉系统的普遍属性[15]。在我们的工作中，我们不再进一步追求这一假设，而仅以康定斯基的视觉原理作为以下定义的起点和同名。

康定斯基图是包含1到n 个几何对象的方形图像。每个物体都以其形状、颜色、大小和在这个正方形中的位置为特征。对象不会重叠，也不会在边界处被裁剪。所有物体都必须易于人类观察者识别并清晰地区分。

所有可能的康定斯基图形k的集合由一般定义以及几何对象的形状、颜色、大小、位置和数量的特定值集合一起定义。在下面的示例中，我们使用圆形、方形和三角形来表示形状；对于颜色，我们使用红色、蓝色、黄色值，并且我们允许任意位置和大小，但限制是它仍然可以识别。此外，在以下说明性示例中，我们要求每个康定斯基人物恰好包含 4 个对象。在演示实现中，这一事实嵌入在基类“Kandinsky Universe”和生成器函数中，

。。。。。。。。。。。。

3 . 背景

在关于康定斯基人物的自然语言陈述中，人类使用一系列通过逻辑运算符组合的基本概念。以下（不完整）示例说明了一些日益复杂的概念。

• 康定斯基人物定义给出的基本概念：一组由形状、颜色、大小和位置描述的物体。
• 存在、数字、集合关系（物体的数量、数量或数量比率），例如“康定斯基人物包含 4 个红色三角形和比圆形更多的黄色物体”。
• 描述物体排列的空间概念，可以是绝对的（上、下、左、右……）或相对的（下、上、上、接触……），例如“在康定斯基图中，红色物体在左侧，蓝色物体在右侧，黄色物体在蓝色方块下方”。
• 格式塔概念（见下文），例如闭合、对称、连续性、接近性、相似性，例如“在康定斯基人物中，对象以圆形方式分组”。
• 领域概念，例如“一组对象被感知为一朵“花” ”。

概念学习长期以来一直是机器学习的相关研究领域，它起源于认知科学，定义为寻找可用于区分各种类别的样本和非样本的属性[19 ]。抽象思考的能力是人类拥有的最强大的工具之一。从技术上讲，人类通过将给定情况定义为响应x、y等最可能合适的情况集合的成员，将他们的经验排序为连贯的类别。这种分类不是一个被动的过程，了解人类如何学习抽象不仅对于理解人类思想至关重要，而且对于构建人工智能机器也至关重要[20] . [21]进行了一项有趣的研究，他提出了两组简单图（A，B），其中 A 组中的所有图都有一个公共因子或属性，而 B 组的所有图表中都缺少该公共因子或属性。问题是找到公共因子。这些问题在[22]的流行书中也有描述。

[24]提出了一种概念学习模型，该模型既基于计算又能够适应人类行为。他认为，两种明显不同的概念概括模式——抽象规则和计算与范例的相似性——都应该被视为更通用的贝叶斯学习框架的特例。最初，贝叶斯（以及更具体的[25] ）解释了这两种模式的具体工作原理，即抽象了哪些规则，如何测量相似性，为什么泛化应该出现在不同的情况下。该分析还表明，为什么规则/相似性的区别即使在计算上不是基础的，但在算法层面仍然可能有用，作为原则性的一部分。近似完全贝叶斯学习。