专栏首页量子位1亿中国人已被AI批改过作业

1亿中国人已被AI批改过作业

夏乙 舒石 发自 凹非寺 量子位 出品 | 公众号 QbitAI

你被机器批改过作业么?

最近,老外特别关注AI在中国教育界的进展,例如人脸识别进课堂、高中AI教材出版等等,这一次关注的焦点是:AI代替老师批作业。

起因是,英文媒体《南华早报》最近有篇报道[1]说,中国有大约6万所学校都在用人工智能来批改学生的作业,每四所学校中就有一所在用。

这些学校分布在各地,四川、山东、安徽、北京……

学生们提交的英文作业,打分交由机器完成,而不是人类教师。作文批改系统,要比Word的拼写检查复杂得多。它能够理解文字的一般逻辑和意思,对作文的整体质量做出像人一样合理的评判,还要在写作风格、结构、主题等方面给出改进建议。

据说,92%的情况下,AI和人类教师对一篇作文的评分是一致的。

这个笼罩6万所学校的人工智能,就是句酷批改网。在它的背后,是一个多所高校和公司共同推进了近10年的项目:语言智能评测关键技术及应用。

数据显示,这个机器教师的学生已经达到1.2亿,还覆盖了北京90%高校,以及所有区县的中学。但它也像一道分水岭,有些人压根没听过。这一点也不奇怪。要知道2016年底,这个服务覆盖的学校才6000多所。

也就是说,一年之间,它覆盖的学校数量增长了900%。

“高分秘籍”

学生对机器批改作业,感受如何?

一个可见的情况是,你能轻松从微博上找到各种吐槽。

比如:

“生活所有的痛苦都来自英语批改网和老师的公邮”

“受了批改网一肚子气”

“就像相信批改网是垃圾。即使在批改网的排名是倒数也不影响就是这样坚定地上交的决心”

说起这些,量子位的一枚同事,默默地贴出她被批改网“支配”的往事:100多字的英语短文,修改了40多次。

当人把命运交到机器手里,心中总是有点不服气。

于是不断有人试图证明,机器评分这套系统,不过尔尔。比如此前未来网就在报道[2]中提及此事。

网友“TroyS”反映,一次专门到网上查到批改网各种高分表达并且用到作文里,提交后得了86分,修改语法错误后分数变为91.5分。此后,该网友把“高分表达”删除,试着用普通表达后,评分还是91.5分。再后来,试着删掉最后一段、试着删掉最后两段,提交后的分数也都仍然是91.5分。但更令其吃惊的是,当该网友把最后两段又贴回去后,分数变成了90分,并且此后修改了17次之多,但分数没变过。 知乎网友“猴赛雷”也提到,通过使劲重复题目要求中的词和句子、贯穿全文,结构以“首先、其次”这类“八股文模式”照搬,文内多加六级高级词汇和句式等,再加上批改网推荐替换的词汇都用上,最后就能得到高分,但是内容驴唇不对马嘴。 未来网记者将网上找的《假如给我三天光明》的英文节选粘贴到批改网上,提交后得分85.5分,并提示标题“假如给我三天光明”的英文表达“疑似谓语缺失”。根据文后的按句点评修改两处提交后,得分仍为85.5分。然而,当记者删掉最后一段后,得分变为了86分。接着,记者又删除第一段,提交后得分变成了86.5分。当记者再将第二段删除后,分数又变成了86分。

总而言之一句话,机器批改作业,确实还有很多不完善的地方。

一位自称曾经是批改网研发的用户也表示,“批改网的批改原理是用多维度加权平均来给你打分。如果一个维度权重很重,你刚好改了之后这个维度的值降了,一加权自然就分数低了”。

“同学们加油,是机器就有漏洞,就看你们能不能总结出规律了。”

背后原理

机器到底是如何批改作业的?

在批改网的官方页面上,对于背后技术的阐释如下。

批改网的原理通过对比学生作文和标准语料库之间的距离,并通过一定的算法将之映射成分数和点评。

2014年多知网的一篇报道中[3],批改网创始人讲述了更多的细节。我们摘录如下。

批改网修改作文的原理是,作文提交后,网站将作文从“词汇”、“句子”、“篇章结构”、“内容相关度”4个大类192个维度进行拆分,每个维度都会与批改网建立的英语本族语语料库(即国外英语文章的素材)作对比。语料库越丰富,对比的客观性就越高,机器批改与人工批改的一致率就越高。 比如,在作文中经常出现“learn knowledge”这样的中式英语。将这样的语言搭配与语料库资料对比后发现,以英语为母语的国家中,使用“learn knowledge”的频率为0次,使用频率最高的是“have knowledge”。所以,会建议学生使用“have knowledge”。

再提供点新信息,根据《2018年国家科学技术进步奖项目提名公示》中披露的内容显示,批改网背后的技术“历经近10年的潜心研究”。

其中列出的五个主要的创新点包括:

1、首次提出全信息语言评测模型 2、构建大规模评测本体知识库 3、构建大规模评测语料库和规则库 4、提出篇章主题聚合度模型 5、提出文档自动编辑和转换模型。

大概就这样吧。

不管细节怎样,总有质疑说机器批改打分的价值不大,目前仍有一些不足云云。但是,这套系统可能真的击中了老师的痛点。官方也把这个作为宣传的重点:

老师们问什么要使用批改网呢? 上海交通大学的胡开宝教授说,批改网可以减轻老师负担,提高学生学习积极性;清华大学杨芳老师:”以前学生追着我问 ‘ 老师你改了没有? ‘ ,在使用批改网后我追着学生问 ‘ 作文交了没有?’ “。

系统的开发者们把它定位成一种辅助工具。对于缺乏教育资源的偏远地区学生来说,一个批改作文的AI能为他们带来不错的写作训练;对于一般的学校来说,它能帮老师们搞定堆积如山的作业,加快批改的速度。

然而根据《南华早报》的报道,老师们对作文批改AI的信任度并不是很高。老师们依然认为,这个系统还不能算完美,有些很好的作文得不到高分。

其实,在作文批改AI出现更早的美国,机器打分早已有了更大胆的应用。

测试机构ETS的作文评分系统e-rater,从2010年开始,就开始正式参与托福考试作文的打分,一个人类评分员和e-rater给出的分数一平均,就成了托福作文的得分。

而这次被英文媒体关注的中国批作业AI,老师们也只是在日常作业和小测验中使用AI来批改打分,真正的考试,还不敢交给它。

就酱。

[1] SCMP:China’s schools are quietly using AI to mark students’ essays … but do the robots make the grade?

http://www.scmp.com/news/china/society/article/2147833/chinas-schools-are-quietly-using-ai-mark-students-essays-do

[2] 未来网:批改网让学生不再质疑分数? 英文原著“打脸”智能批改实力

http://m.edu.k618.cn/ycbd/201801/t20180130_15146364.html

[3] 多知网:句酷批改网:用机器批改作文的创业故事

http://www.duozhi.com/company/20141124/2412.shtml

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 三星宣布7nm LPP芯片量产!性能高20%,功耗降50%,面积降40%

    在近日Samsung Tech Day大会上,三星宣布,已经基于EUV(极紫外光)光刻技术,开始量产7nm LPP(Low-Power-Plus)工艺芯片。

    量子位
  • 联想高校AI精英挑战赛上交站落幕,“AI糖尿病筛查”项目获青睐

    唐旭 发自 上海 量子位 报道 | 公众号 QbitAI “联想不光要做智能硬件设备的制造者,还要成为AI解决方案的提供者。” 昨天下午,“联想高校AI精英挑...

    量子位
  • 为了故意刁难AI,科学家们制造了这1200个问题,超强AI被“打回原形”

    自从 IBM 的 Watson 在 “Jeopardy!” 智力问答竞赛中战胜人类冠军,人工智能真正理解人类语言这件事似乎变得触手可及。

    量子位
  • 「镁客·请讲」BeanVR秦凯:VR体验太孤独?我们要做娱乐性的社交产品

    镁客网
  • Node.js 小打小闹之Excel解析

    近期公司开始做绩效,某一天上午 HR 妹纸发了份 Excel 模板过来,让我下发给小组内成员填写。当天下午下班前,组内的绩效表就收齐了,接下来我就开始进入下一个...

    阿宝哥
  • ESP32 OTA详解-中文翻译版

    ESP32应用程序可以在运行时通过Wi-Fi或以太网从特定的服务器下载新图像,然后将其闪存到某些分区中,从而进行升级。在ESP-IDF中有两种方式可以进行空中(...

    小锋学长
  • 微服务架构实践

    作者:赵计刚 来源:http://www.cnblogs.com/java-zhao/p/5538232.html(点击文末阅读原文前往) 一、微服务架构图: ...

    java达人
  • 二叉查找树二叉查找树

    二叉查找树 二叉查找树是一种特殊的二叉树,该数据结构的核心性质是: 对于树中的每个节点X,它的左子树中所有关键字值小于X的关键字值,而它的右子树中所有关键字值...

    月见樽
  • 「软件工程」编程生产力概述

    编程生产力(也称为软件生产力或开发生产力)描述单个程序员或开发团队构建和发展软件系统的能力程度。传统上,生产力是指软件生产量与软件成本之比。这里的微妙之处在于找...

    首席架构师智库
  • 一次完整的HTTP请求过程-PHP面试题

    一起来复习一下有关PHP面试题的内容,今天我们说HTTP请求的问题。这是在面试中经常会遇到的一个问题。下面一起来看一下。

    申霖

扫码关注云+社区

领取腾讯云代金券