专栏首页机器学习爱好者社区太卷了!AI已经会自己刷LeetCode了!

太卷了!AI已经会自己刷LeetCode了!

你敢信?你在面试中会遇到的算法题,AI已经能自己解决了!

比如下面这道题:

对于一个记录论文引用次数的数组,每个元素都是非负整数。请写出函数h_index,输出这些论文的h指数,即至多有h篇文章被至少引用了h次。 例: 输入: [3, 0, 6, 1, 4]输出: 3

AI给出的Python答案是这样的:

除了排序没用counts.sort(reverse = True)让人看着血压升高,算是顺利通过测试:

来自UC伯克利的研究团队,将上面这道题被归为“面试级”难度(看来国外程序员面试题有点简单)。

此外还有更简单的“入门级”和更难的“竞赛级”,总共5000道题的测试中,AI能做出15%

另外有人声称,他专门用GPT-2训练了个专门做LeetCode的AI,能完成80%

在刷LeetCode的你,是否在颤抖?

GPT-Neo赢过GPT-3

本研究使用的题目形式是自然语言题干,不同于以往研究常用的伪代码和代码之间翻译。

题目是从Codeforces、Kattis等刷题网站收集的10000道题,5000道用于训练,另外5000道作为测试集。

题干的平均长度为293.2个单词,在测试集中每道题平均有21.2个测试用例。

入门级难度的题不需要复杂算法,有1-2年经验的程序员都能回答的那种,有3639个。

面试级难度的题会涉及数据结构,比如树或者图,或需要修改常见的算法,有5000个。

剩下的是竞赛级难度,达到USACO、IOI和ACM等竞赛的水平。

研究人员分别训练了GPT-2的1亿参数版和15亿参数版、GPT-3以及“高仿版”GPT-Neo

参数规模“只有”27亿的GPT-Neo和更低的GPT-2在测试用例通过率上,表现却比1750亿的GPT-3还要好。

严格模式下,通过所有测试用例才算完全正确,成绩最好的GPT-Neo只通过了1.12%,不过这也有56道题了(反正比我强)。

GPT-Neo来自EleutherAI团队尝试复现GPT的开源项目。

虽然参数规模比GPT-3小得多,但训练数据包含了更多技术网站,比如Stack OverFlow和Stack Exchange等,这可能是它在代码生成上胜出的原因之一。

至于GPT-3为什么表现还不如GPT-2,有人猜测可能是它见过的文本太多,虽然擅长生成自然语言,但在逻辑和解题方面过拟合了。

如何评价AI“做题家”

论文一发出来,吃瓜群众脑洞大开。

如果我没通过面试但我写的算法通过了会怎么样?

有人回答他:

没关系,你还可以当你算法的助手。

还有很多人给出下一步建议,比如不用自回归的GPT,改用自编码语言模型会怎样?比如CodeTrans

或者,再用一个GPT专门生成自己回答不出来的问题。

△矛盾相争是吧

乐观的人认为这是解放了人的创造力,未来编程是关于写更少的代码,做更多的架构、工程。

有人畅想,只需要描述需求就能生成代码可太爽了。

嗨IDE,用我的数据库做一个JavaScript的增查改删,要带测试。

△Ruby on Rails直呼内行

悲观的人却认为,将来有一天,人类程序员只能做做维护工作和评审机器生成的代码了。

面对AI“做题家”,你怕了吗?

论文地址:https://arxiv.org/abs/2105.09938

数据集地址:https://github.com/hendrycks/apps

自动刷LeetCode项目:https://github.com/gagan3012/project-code-py

本文分享自微信公众号 - 机器学习爱好者社区(ML_shequ)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI已经会刷LeetCode了

    除了排序没用counts.sort(reverse = True)让人看着血压升高,算是顺利通过测试:

    量子位
  • 9102年,你已经是个大春节了,你要自己学会用AI了

    2019 年,AI 为我们「渐渐无趣」的春节增色不少……它不仅可以帮助人们送出新年祝福,也能为人高效传递信息。在繁忙的春运期间,人工智能也能帮助人们更快地回到家...

    机器之心
  • 知乎高赞:985计算机视觉毕业后找不到工作怎么办?怒刷leetcode,还是另寻他路?

    本人目前是985高校研究生,方向是计算机视觉。成绩中等,无论文,无比赛经历,有项目经历。编程基础还可以,自认为在教研室算好的了,python用得比较熟,C++也...

    石晓文
  • 这样学算法,包会包懂so easy~

    面试前,大家都会开始刷各类网站,希望能在算法之道上有所进益,也期待有幸能在面试中碰上原题,而在那么多的网站中,LeetCode 一定是候选学习的网站之一。但是 ...

    AI科技大本营
  • 你已经是只成熟的机器狗了,该学会自己尬舞了

    波士顿动力的网红机器狗不仅能稳步行走、自主导航爬楼梯,还能送快递。但是,科学家们对狗和AI的想象力远不止于此。今天早些时候,波士顿动力放出了本周的又一波视频,并...

    大数据文摘
  • 帅气中国小哥出“大招”,程序员跳槽面试刷题必备

    跳槽后薪水翻倍自然爽歪歪,但最怕的是面试翻车,那就悲剧了。可想而知,想要跳槽或者为春招准备的毕业生们,正在为刷算法题焦头烂额。

    AI科技大本营
  • 知识体系、算法题、教程、面经,这是一份超赞的AI资源列表

    照例先放上 GitHub 地址:https://github.com/Awesome-Interview/Awesome-Interview#LeetCode,...

    AI科技大本营
  • 人工智能已经学会了自己编程,谷歌机器学习软件复制了一个自己

    五月份,Google发布了AutoML项目。人工智能(AI)旨在帮助他们创建其他AI。 现在,Google已经宣布AutoML通过构建机器学习软件在自己的游戏中...

    企鹅号小编
  • 应届硕士毕业生如何拿到知名互联网公司深度学习 offer?

    最近投了一堆机器学习/深度学习/计算机视觉方向的公司,分享一下自己的经验,希望对大家有帮助。

    AI研习社

扫码关注云+社区

领取腾讯云代金券