一支笔接入云上智慧课堂：企鹅智笔案例的AI智能批改技术解析

英文作文的批改，以往完全依赖于教师的主观判断，既需要教师做大量重复性的工作，又难以规避批量批改中对细节错误的忽视。如何用机器又准又快的批改作文，给老师减负，就成了一个迫在眉睫的任务。

业务诉求与技术实现

难点1:智能批改

英语作文的批改，要兼顾文章主题、语法表达、卷面书写等多个方面的要求，技术上如何解决语法、主题相符、卷面成绩，以及如何把零散的分析结果有机的组合成作文的成绩和评分，都是需要解决的技术问题。

在分析了现有老师批改英语作文的考虑因素和中考高考作文评价规则之后，我们设计了一套从图片转文字之后分析单词、句子、段落、内容等各方面指标，把指标数值转换成百分制分值，再根据学生所在年级，线性组合各维度分值，最终生成作文对应评分和评语的框架。其中：

1. 字词等维度通过收集不同学段、年级词库，准确细致的反映学生词汇掌握情况；

2. 句子等维度反映学生对各简单句、并列句、复杂句等句式的掌握情况；

3. 段落等维度反映了学生文章的结构把握情况；

4. 内容等维度反映了作文是否跑题、作文段落之间是否顺承等关系。

在联合英语教研设计了大量的维度之后，大大丰富了对作文的细节理解和特征表达。大多数维度对最终批阅结果有正向贡献，比如四级词汇的数量，复杂句的使用等；但是不确定部分维度对最终分数有没有影响，比如单词”to”的比例，逗号句号比等。利用海量的数据训练过程之后，我们计算了不同维度对总分的贡献权重，对重要的维度进行了更细节的优化，适当的删减了部分不相关的维度，计算效率和批改效果都有显著提升。

难点2:语法纠错

语法涵盖单词是否拼写正确、单词时态是否使用正确、短语搭配是否合理、从句是否结构正确、介词所连接句子时态是否一致等等，是作文批改的基础能力。对比市面上大多产品使用开源项目LanguageTool的语法纠错功能，腾讯内部产品云小微在英语场景的案例积累更为丰富，语法纠错使用最新的深度学习的模型，针对中式英语的语法错误细致调优，效果明显优于LanguageTool。

云小微语法纠错结合大数据基础，端到端框架与神经网络技术，支持更好定位、分析与纠正语法错误。利用神经网络自身结构复杂度高，归纳能力强的特点，从海量数据中学习复杂语法规则。针对性采集来自中日韩英语二语学习者的英语学习数据，使得纠错模型更能反映东亚区域在学习英语中写作特征与易犯错误。在端到端框架下，能够针对性地将语法错误通过编码解码的方式修改正确。目前语法纠错已支持拼写错误、用词错误、短语搭配错误、时态错误、单复数错误、修饰词错位、连词错误、介词错误、句子不完整、指代不清、冗余、中式英语多达十余种类型的语法错误，所支持的错误类型以及效果均达到业界领先水平。

难点3:内容相似性模型

内容模型用来判断作文是否跑题，作文内容上下段落的连贯性等，是除了基础语法判断的一个重要任务。

判断一篇作文是否离题：

1， 首先根据题目内容提取关键词：分词、恢复词根、去停止词、最终仅保留重要词性的词语，即为关键词。对作文内容训练主题模型，提取关键主题的关键词，并计算作文关键词和题目关键词的相似度。

2， 对bert预训练模型进行微调，直接计算题目与内容的相似度。搜集大量优秀作文语料作为正样本，并根据关键主题的互斥信息生成大量负样本（题目与文章内容不符），训练0-1二分类的bert微调模型。

3， 将上述两个模型融合，得到最终模型。

整合1:卷面

手写卷面成绩通过典型分类模型，小伙伴们标注数据之后，用分类模型VGG16（有16层参数的深度卷积神经网络）就取得了不错的效果。

整合2:批改效果

在把各细节维度线性有机组合在之后，就可以对作文进行评分了。

上图就是一篇作文的评分，包含总体得分、各大维度得分以及按句点评。

扩展优化：定标

有了标准的作文批改模型之后，在实际使用场景中又遇到了问题。老师的评分标准有紧有松，对优秀缺点侧重点可能不同，不同的老师同一篇作文评分大概率不相同，作文批改怎么在保证批改效果大体正确的情况下又能保证满足不同的批改标准又是一个问题。

由于老师的评分标准有个体的差异性，所以考虑设计一套定标系统。先收集一批老师的阅卷数据，用作文引擎评分结果出来之后，再用定标算法训练一套模型和参数，使作文引擎的结果可以映射到老师的阅卷数据中，该套模型和参数就是老师的个人评分模型。下图所示为定标集的流程。

定标算法基于通用打分模型对待评估作文特征集进行预打分，并根据预打分进行随机比例抽样组成试卷定标集提交给教师进行人工打分。最后根据人工打分结果对通用模型进行校正，利用已经机器评阅的该作文特征指标，做从特征指标到老师手工评阅分数的映射。综合了稳定的最小二乘、线性回归算法后就取得了不错的效果。

下图一是一个稍微极端的情况，老师的评分标准很宽松，机器评分整体偏低，机器评分平均偏低4分左右。经过定标后的结果，19人的评分标准与老师完全一致，其余评分稍有偏差，大体保证了正态分布，基本吻合老师的标准。

总结

腾讯云针对英语批改场景推出英文作文批改服务，覆盖学生英语学习全周期，提供高参考价值的智能批改功能，依赖积累深厚的云小微语法纠错功能以及NLP内容模型，提供包含整体点评、分句点评等功能，涉及词汇、词性、句式结构、内容相关性等近百项细评分维度。同时通过定标过程满足不同教学标准的批改需求。经过实际场景的验证，帮助教师、家长、学生快速指出语法错误，提出作文修改意见，轻松提升作文水平。

作者：周伟强（leoriczhou）