前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >李飞飞点赞的NeurIPS新赛道,刚刚公布了第一批数据集&benchmark入围名单

李飞飞点赞的NeurIPS新赛道,刚刚公布了第一批数据集&benchmark入围名单

作者头像
量子位
发布2023-03-10 13:01:08
2260
发布2023-03-10 13:01:08
举报
文章被收录于专栏:量子位
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI

今年4月份时,NeurIPS 2021曾宣布专门为数据集和基准测试推出一个新Track。

而现在,第一批数据集和基准终于公布了。

这次公布的内容包括一般数据集、NLP方向数据集、仿真环境和数据生成器、元分析和AI公平性、基准这五个方向。

入围的共有62篇论文。

入围的数据集和基准

在一般类的数据集上,共入围11篇:

主要为文本、语言、语音类的NLP数据集方向则有13篇:

仿真环境和数据生成器方向有11篇:

元分析和AI公平性上有7篇:

而最后在基准方面共有20篇:

新赛道规则:第二轮8月27日截止

对这一新Track所提交的材料,除了主会议论文之外,还应该提交补充材料:

像是如何收集和组织数据、其中包含何种信息、如何在合乎道德地使用数据,以及如何提供和维护数据等等。

提交是单盲的,而审查是开放的,

NeurIPS 2021会以主会议的标准进行严格审查。

只是其审查准则会适用于数据集和基准测试。

今年共有两次提交日期,允许连续提交。其中第一轮已截止。

第二轮提交的截止日期在8月27日,10月8日通知论文作者结果:

数据集和基准也需要审查规则

这一新Track是今年4月份,由NeurIPS的数据&基准主席Joaquin Vanschoren宣布的:

消息发出后,李飞飞教授表示赞赏:终于在ImageNet的12年之后见到了这一天。

在此之前,NeurIPS表示,现在社区内更关注算法设计,但往往不能轻易找到好的数据集。

这样,很多算法都只是在没有实际意义,或数据存在偏差的情况下进行评估的。

而在NeurIPS会议中,每年接受的论文中所提出的新的数据集少于5个,专注于在广泛的数据集上对算法进行系统性基准测试的也只有10个。

这也是NeurIPS开辟这一新Track的主要目的,他们表示:

我们建议在NeurIPS开辟一条新的赛道,作为数据和基准测试的孵化器。 它将作为出版物、会谈和海报的场所,也是讨论如何更广泛地改进数据集开发和面向数据的工作的论坛。

公布名单: https://blog.neurips.cc/2021/08/12/updates-on-the-neurips-2021-datasets-and-benchmarks-track/

提交规则: https://neurips.cc/Conferences/2021/CallForDatasetsBenchmarks

参考链接: https://neuripsconf.medium.com/announcing-the-neurips-2021-datasets-and-benchmarks-track-644e27c1e66c

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

「智能汽车」交流群招募中!

欢迎关注智能汽车、自动驾驶的小伙伴们加入社群,与行业大咖交流、切磋,不错过智能汽车行业发展&技术进展。加好友请务必备注您的姓名-公司-职位哦~

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-08-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 入围的数据集和基准
  • 新赛道规则:第二轮8月27日截止
  • 数据集和基准也需要审查规则
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档