GraphArena

标题：GraphArena

博主点评：个人感觉可以测测其他框架的性能

代码地址：https://github.com/squareRoot3/GraphArena

发表日期：2024-06-29

摘要：大型语言模型（LLMs）的“军备竞赛”需要新的基准来检验其进展。在本文中，我们介绍了GraphArena，这是一个基准测试工具，旨在评估现实世界图计算问题上的LLM。它提供了一套四个多项式时间任务（例如，最短距离）和六个NP完全挑战（例如，旅行推销员问题）。GraphArena具有一个严格的评估框架，将LLM输出分为正确、次优（可行但非最优）、幻觉（格式正确但不可行）或缺失。对10多个LLM的评估表明，即使是表现最好的LLM也会遇到更大、更复杂的图形问题，并表现出幻觉问题。我们进一步探索了四种潜在的解决方案来解决这个问题，并改进图计算上的LLM，包括思维链提示、指令调优、代码编写和缩放测试时间计算，每种解决方案都显示出独特的优势和局限性。

论文地址：https://arxiv.org/abs/2407.00379