复旦大学与达观数据联合研究成果被国际AI顶会《AAAI 2024》收录

近日，复旦大学肖仰华教授科研团队联合达观数据技术团队，在人工智能大规模多模态知识图谱模型获得重要突破，采用为三元组事实配图的方式建立大规模多模态知识图谱ImgFact，同时提出一种新颖的pipeline方法，该模型显著优于现有多模态知识图谱以及VisualChatGPT增强方案，论文成果被国标人工智能领域顶会《AAAI2024》收录。

图1 AAAI 2024 收录列表（截取）

论文内容预览

目前，大部分多模态知识图谱构建工作主要侧重于实体层面的多模态信息匹配，往往忽略了实体间关系的多模态信息。因此，在本文中，我们采用为三元组事实配图的方式，以建立大规模多模态知识图谱。这些图片不仅反映实体信息，还呈现了它们之间的关系信息。此外，我们还提出了一种新颖的pipeline方法，包括三元组事实过滤、图片检索、基于实体的图片过滤、基于关系的图片过滤以及图片聚类。基于以上步骤，我们构建了多模态知识图谱ImgFact，包含247,732个三元组事实和3,730,805张图片。在实验中，通过人工和自动评估，验证了ImgFact中图片的可靠性。利用这些图片，进一步地提升了模型在下游任务（如链接预测和关系分类）上的性能。在与现有多模态知识图谱以及VisualChatGPT增强方案的比较中，通过我们ImgFact优化的模型，在关系分类F1上取得了8.38%和9.87%的显著提升。

AAAI

AAAI由国际先进人工智能协会（Association for the Advancement of Artificial Intelligence, AAAI）主办，是人工智能领域的顶级会议之一，也是中国计算机学会（CCF）推荐的A类国际学术会议。其接收论文范围涵盖了人工智能领域的多个方向，包括机器学习、知识表示与推理、自然语言处理、计算机视觉、智能体与多智能体系统等。本届会议共收到9862篇份论文投稿，最终录用2342篇论文，录用率23.75%。

达观数据与复旦大学长期以来建立了深入的产学研合作，共同组建了“金融垂域应用大模型校企联合研究中心”、“文本挖掘联合实验室”、浦东新区院士（专家）工作站，开展定期的技术讲座，设立“复旦大学计算机科学技术学院达观数据奖学金”，旨在共同推动文本语义以及知识图谱大模型领域的人才培养、科研和产业发展。