1亿中国人已被AI批改过作业

你被机器批改过作业么?

最近,老外特别关注AI在中国教育界的进展,例如人脸识别进课堂、高中AI教材出版等等,这一次关注的焦点是:AI代替老师批作业。

起因是,英文媒体《南华早报》最近有篇报道[1]说,中国有大约6万所学校都在用人工智能来批改学生的作业,每四所学校中就有一所在用。

这些学校分布在各地,四川、山东、安徽、北京……

学生们提交的英文作业,打分交由机器完成,而不是人类教师。作文批改系统,要比Word的拼写检查复杂得多。它能够理解文字的一般逻辑和意思,对作文的整体质量做出像人一样合理的评判,还要在写作风格、结构、主题等方面给出改进建议。

据说,92%的情况下,AI和人类教师对一篇作文的评分是一致的。

这个笼罩6万所学校的人工智能,就是句酷批改网。在它的背后,是一个多所高校和公司共同推进了近10年的项目:语言智能评测关键技术及应用。

数据显示,这个机器教师的学生已经达到1.2亿,还覆盖了北京90%高校,以及所有区县的中学。但它也像一道分水岭,有些人压根没听过。这一点也不奇怪。要知道2016年底,这个服务覆盖的学校才6000多所。

也就是说,一年之间,它覆盖的学校数量增长了900%。

“高分秘籍”

学生对机器批改作业,感受如何?

一个可见的情况是,你能轻松从微博上找到各种吐槽。

比如:

“生活所有的痛苦都来自英语批改网和老师的公邮”

“受了批改网一肚子气”

“就像相信批改网是垃圾。即使在批改网的排名是倒数也不影响就是这样坚定地上交的决心”

说起这些,量子位的一枚同事,默默地贴出她被批改网“支配”的往事:100多字的英语短文,修改了40多次。

当人把命运交到机器手里,心中总是有点不服气。

于是不断有人试图证明,机器评分这套系统,不过尔尔。比如此前未来网就在报道[2]中提及此事。

网友“TroyS”反映,一次专门到网上查到批改网各种高分表达并且用到作文里,提交后得了86分,修改语法错误后分数变为91.5分。此后,该网友把“高分表达”删除,试着用普通表达后,评分还是91.5分。再后来,试着删掉最后一段、试着删掉最后两段,提交后的分数也都仍然是91.5分。但更令其吃惊的是,当该网友把最后两段又贴回去后,分数变成了90分,并且此后修改了17次之多,但分数没变过。

知乎网友“猴赛雷”也提到,通过使劲重复题目要求中的词和句子、贯穿全文,结构以“首先、其次”这类“八股文模式”照搬,文内多加六级高级词汇和句式等,再加上批改网推荐替换的词汇都用上,最后就能得到高分,但是内容驴唇不对马嘴。

未来网记者将网上找的《假如给我三天光明》的英文节选粘贴到批改网上,提交后得分85.5分,并提示标题“假如给我三天光明”的英文表达“疑似谓语缺失”。根据文后的按句点评修改两处提交后,得分仍为85.5分。然而,当记者删掉最后一段后,得分变为了86分。接着,记者又删除第一段,提交后得分变成了86.5分。当记者再将第二段删除后,分数又变成了86分。

总而言之一句话,机器批改作业,确实还有很多不完善的地方。

一位自称曾经是批改网研发的用户也表示,“批改网的批改原理是用多维度加权平均来给你打分。如果一个维度权重很重,你刚好改了之后这个维度的值降了,一加权自然就分数低了”。

“同学们加油,是机器就有漏洞,就看你们能不能总结出规律了。”

背后原理

机器到底是如何批改作业的?

在批改网的官方页面上,对于背后技术的阐释如下。

批改网的原理通过对比学生作文和标准语料库之间的距离,并通过一定的算法将之映射成分数和点评。

2014年多知网的一篇报道中[3],批改网创始人讲述了更多的细节。我们摘录如下。

批改网修改作文的原理是,作文提交后,网站将作文从“词汇”、“句子”、“篇章结构”、“内容相关度”4个大类192个维度进行拆分,每个维度都会与批改网建立的英语本族语语料库(即国外英语文章的素材)作对比。语料库越丰富,对比的客观性就越高,机器批改与人工批改的一致率就越高。

比如,在作文中经常出现“learn knowledge”这样的中式英语。将这样的语言搭配与语料库资料对比后发现,以英语为母语的国家中,使用“learn knowledge”的频率为0次,使用频率最高的是“have knowledge”。所以,会建议学生使用“have knowledge”。

再提供点新信息,根据《2018年国家科学技术进步奖项目提名公示》中披露的内容显示,批改网背后的技术“历经近10年的潜心研究”。

其中列出的五个主要的创新点包括:

1、首次提出全信息语言评测模型 2、构建大规模评测本体知识库 3、构建大规模评测语料库和规则库 4、提出篇章主题聚合度模型 5、提出文档自动编辑和转换模型。

大概就这样吧。

不管细节怎样,总有质疑说机器批改打分的价值不大,目前仍有一些不足云云。但是,这套系统可能真的击中了老师的痛点。官方也把这个作为宣传的重点:

老师们问什么要使用批改网呢?

上海交通大学的胡开宝教授说,批改网可以减轻老师负担,提高学生学习积极性;清华大学杨芳老师:“以前学生追着我问 ‘ 老师你改了没有? ‘ ,在使用批改网后我追着学生问 ‘ 作文交了没有?’ ”。

系统的开发者们把它定位成一种辅助工具。对于缺乏教育资源的偏远地区学生来说,一个批改作文的AI能为他们带来不错的写作训练;对于一般的学校来说,它能帮老师们搞定堆积如山的作业,加快批改的速度。

然而根据《南华早报》的报道,老师们对作文批改AI的信任度并不是很高。老师们依然认为,这个系统还不能算完美,有些很好的作文得不到高分。

其实,在作文批改AI出现更早的美国,机器打分早已有了更大胆的应用。

测试机构ETS的作文评分系统e-rater,从2010年开始,就开始正式参与托福考试作文的打分,一个人类评分员和e-rater给出的分数一平均,就成了托福作文的得分。

而这次被英文媒体关注的中国批作业AI,老师们也只是在日常作业和小测验中使用AI来批改打分,真正的考试,还不敢交给它。

就酱。

[1] SCMP:China’s schools are quietly using AI to mark students’ essays … but do the robots make the grade?

http://www.scmp.com/news/china/society/article/2147833/chinas-schools-are-quietly-using-ai-mark-students-essays-do

[2] 未来网:批改网让学生不再质疑分数? 英文原著“打脸”智能批改实力

http://m.edu.k618.cn/ycbd/201801/t20180130_15146364.html

[3] 多知网:句酷批改网:用机器批改作文的创业故事

http://www.duozhi.com/company/20141124/2412.shtml

第二期「十分AI」短视频课程开始报名了!

最新课题

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180530A1OP9I00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券