Meta 发布了一个数据集来探测计算机视觉模型的偏差

Meta发布全新人工智能数据集FACET，旨在评估分类和检测图片和视频中物体（包括人物）的AI模型的"公平性"。

这个名为FACET的数据集由32,000张图片组成，其中包含50,000个人物，这些人物都经过人工注释。FACET代表"计算机视觉评估中的公平性"，它包括了与"篮球运动员"、"唱片骑师"、"医生"等职业和活动相关的类别。除了人口统计和身体特征，FACET还允许深入评估这些类别的偏见。

Meta表示："通过发布FACET，我们的目标是让研究人员和从业者能够执行类似的基准测试，以更好地了解他们自己的模型中存在的差异，并监控为解决公平问题而采取的缓解措施的影响。我们鼓励研究人员使用FACET来衡量其他视觉和多模式任务的公平性。"

尽管探究计算机视觉算法的偏见并不是什么新鲜事，但Meta声称FACET比以往的任何计算机视觉偏见基准都更为全面。FACET的目标是能够回答类似以下的问题："当人们感知到的性别表现具有更多刻板的男性属性时，模型是否能更好地将人们分类为滑板运动员？" 以及"与直发相比，卷发的人是否会产生偏见？"

FACET由32,000张图像组成，每张图像都经过人工注释，标注了人口统计属性（如感知性别表现和年龄组）、其他物理属性（如肤色、灯光、纹身、头饰和眼镜、发型和面部特征）以及类别标签。这些标签与Segment Anything 1 Billion的其他人、头发和衣物标签相结合，后者是一个用于训练计算机视觉模型分割图像中物体和动物的数据集。

尽管Meta声称FACET的数据来自于Segment Anything 1 Billion数据集，但是否照片中的人知道这些图像将被用于此目的还不清楚。此外，目前尚不清楚Meta是如何招募注释者团队以及他们的报酬。

这个名为FACET的新数据集允许研究人员和从业者对AI模型进行公平性评估，以更好地了解模型中可能存在的偏见。同时，Meta也承认FACET可能无法充分捕捉现实世界的概念和人口群体，但它还是能够为探索不同人口统计属性的模型提供有用的参考。