教育大数据背景下的智能测评

原题：教育大数据背景下智能测评研究的现实审视与发展趋向

作者：牟智佳 俞 显

刊期：《中国远程教育》2018.5

人工智能、学习分析与教育大数据之间的相互融合使得学习评价由数字化的学习测评走向数据化的智能测评。从智能测评技术发展视角对国内外相关平台进行梳理和分析，发现智能测评平台存在测评目的异化、测评数据采集单一、测评分析缺乏深度、测评结果可视化水平低和测评反馈智能化薄弱五方面问题。本研究从智能测评研究视角对国内外现状进行内容分析，把握研究态势与不足;在此基础上对智能测评发展的理论与技术趋向、目标导向进行阐释，最后提出智能测评服务模式，希冀为将来智能测评发展与研究提供有益的启示。

智能测评：

理论与技术发展趋向

智能测评需要在学习内容、学习过程和学习目标等方面提供个性化学习评价结果，以此作为改进教与学的反馈信息的来源。因此，智能测评发展需要以个性化学习为目标，以形成性评价为中心，以学习理论为指导，以机器学习分析和自然语言处理为技术支撑，持续对学生的知识、思维和理解进行评价和反馈，最终促进学习者达成目标。

●智能测评发展的理论趋向

■以内容为导向的概念转变学习理论

促进学习者对所学知识点的概念理解是学习测评的一个重要目的。而在概念理解上，特别是理科知识概念，存在容易让学习者困惑的相异概念、迷思概念、直觉概念等，因此需要通过智能测评发现并促使学习者完成概念转变，其中包括通过题目和选项的分析挖掘出学习者存在的迷思概念和通过观点分析并转变先前概念背后的本体论和认知论假定。此外，对学 习者建模的评判可以了解其概念转变过程，当学习者建构并转变他们的模型时，他们就在通过改变正在学习的概念重新组织知识结构。

■以理解为导向的生成性学习理论

学习结果是学习者在完成知识内容学习和参与学习活动之后在知识内化上的集中体现，对学习结果的评价离不开学习过程和活动，而对过程进行持续跟踪和评价有助于及时发现学习问题，并提供学习干预和补救。生成性理论强调在学习过程中学习者对知识的理解和意义建构。该理论的基本假设是学习者是学习过程的主动参与者，只有通过个体生成关系和理解，才能生成有意义的知识。智能测评在内容上的设计应将测评内容和知识点与学习者所学内容进行关联，并着重理解性题目内容的设计和评价，以促使学习者建立知识之间的联系并生成自己的理解。

■以结果为导向的学习目标分类理论

对学习结果的测评不仅要关注所取得的成绩和知识掌握程度，也要了解学习者在学习目标上所达到的层级，以进一步合理规划后面的学习内容和学习活动。而在目标分类理论上，注重通过外显行为观测目标的布鲁姆教学目标分类理论能够有效区分学习者的能力表现。布鲁姆提出的教学目标分类理论包含两方面特征：①用学生的外显行为来陈述目标;②目标是 有层次结构的。该分类理论包括知道、领会、应用、分析、评价和创造六个层级，能够将学生的行为由简单到复杂按秩序排列，并具有连续性和累积性。有研究者在该分类理论基础上增加了知识层级维度，形成了以知识和认知过程为组合的二维表，对学生的学习结果表现可以通过这两个维度进行坐标定位，了解学生达到的能力层级。

●智能测评发展的技术趋向

■基于学习行为数据链的机器学习分析技术

大数据技术、数据科学和移动技术的日渐成熟和广泛应用使得学习者在任何情境下的数字化学习行为得到跟踪和记录。学习行为时间点包含学习者在线预习、活动参与、学习测评等整个学习流程。而学习行为数据类型则包含隐性学习行为和外显学习行为。其中隐性学习行为是学习者在学习活动过程中所进行的有意识的、无意识的、分散的、连续的、跳跃的等不确定特征的思考和行为过程，而外显学习行为是学习者在参与学习活动过程中与学习资源、学习平台交互所产生的行为路径。学习行为时间点和数据类型构成了整个学习数据链，为智能测评提供了大数据源。而基于这些学习大数据应用机器学习技术进行测评可以精准识别出学习者在行为偏好、知识强弱、能力水平、学习路径等方面的个性特征，从而为后面的学习任务智能匹配提供数据支持，最终使学生的学习更有效。

■基于生成文本数据链的自然语言处理技术

学习者在练习测评过程中的学习行为除了通过鼠标输入的客观题作答数据，还包括通过键盘输入的以文本为交互内容的主观题作答数据。而对这些文本内容进行情境化分析则需要自然语言处理技术，包括词法分析、句法分析、语义分析、文本生成、语音识别等。在自然语言处理系统输入层面上，要使系统能够处理基于不同终端和多种输入方式生成的真实文本数据;在输出层面上，使系统能够对文本内容进行深层理解，提取符合作答内容的关键信息以及包含个人情感和观点的个性信息。随着混合式学习逐步成为常态，学生的测评内容既包括传统纸质文本数据，还包括在线测评文本数据。因此，需要整合两部分真实文本数据。由于测评内容的分布性和真实情境性，未来应当进一步加强不同情境真实语料库的整合以及大规模、信息丰富的词典编制工作，以提高测评文本的实时性和精准性。

●智能测评发展的目标导向

■以个性化学习为目标

《国家教育事业发展“十三五”规划》(2017)在主题主线部分中提出，积极促进信息技术与教育的融合创新发展，努力构建网络化、数字化、个性化、终身化的教育体系。历年新媒体联盟《地平线报告》高等教育版和基础教育版中多次将推进个性化学习作为影响学校应用教育技术的重要挑战。从新媒体技术的发展轨迹来看，平板电脑、自适应技术、人工智能等技术正逐步在教育中进行深度应用和融合，这为个性化学习提供了有力的技术支撑。因此，为学生提供个性化学习服务是教育信息化发展的题中应有之义。而智能测评作为学习流程的最后环节应当基于个人学习目标和内容进行智能评价和诊断，为学习者提供差异化学习报告和反馈，最终促进个性化学习。

■以个性化学习过程为对象

要使智能测评能够支持学习者的个性化学习，需要对个性化学习过程特征进行总结。为了解国内外关于个性化学习过程特征的相关内容，本研究基于国内外文献数据库进行检索，之后对文献做二次整理分析，筛选出与个性化学习过程特征内容直接相关的文献，通过对所筛选文献进行内容分析整理出数字化学习环境下个性化学习过程特征的内容。经分析可知，在分析视角方面国外较为微观聚焦，侧重学习特征的内容，而国内分析侧重整个学习过程。在个性化学习特征内容分析方面，国外侧重分析学习者、学习结果和学习心理，而国内则注重分析学习环境和学习活动过程。受研究范式、文化和国情等影响，两者之间体现出不同的研究取向。总体而言，在分析视角方面以往研究主要集中在个性化学习环境、个性化学习特征和个性化学习过程。而在个性化学习特征内容分析方面主要集中在个性特征、学习活动与内容、学习目标、学习结果与评价和学习心理等方面。在数字化学习环境下，为了使个性化学习更具可实施性和操作性，并使其与测评对象相关联，应从学习内容、学习活动和学习结果三个方面对个性化学习过程的特征进行总结。在教育大数据和学习分析支撑下，智能测评在个性分析和差异评价上将凸显出其技术优势，基于学生的个性化学习过程提供学习评价和反馈是未来实现测评智能化的主要路径。

智能测评服务的

实现路径

在上述理论与技术的支撑下，智能测评服务应当以面向个性化学习为宗旨，在学习任务上以学习能力为评价起点，基于能力水平智能匹配学习任务以实现有效学习;在学习路径上以内容掌握为评价标准，依据测评结果提供个性化学习路径以实现高效学习;在学习过程上以活动参与为评价对象，依据学习行为特征识别出个性优势以进行个性化培育;在学习目标上以学习表现为评价结果，依据知识掌握和能力水平描绘个人知识地图以精准定位学习状态并据此合理设定目标。

●基于学习能力的学习练习智能匹配

传统练习环境下衍生出的题海战术尽管在提高成绩上有一定的效果，但花费的时间成本较高，学习者往往需要遍历每套试题中的所有题目才能找到真正薄弱点。在理科题目练习中，不同选项的答案反映出学习者头脑中应用不同推理逻辑计算得出的结果，这折射出学习者存在迷思概念和先前知识不足的可能性。当前，数字化学习环境下的错题练习较多是基于同类 知识点题目进行分析推送，缺少关注学习者已有知识及其思维方式。智能测评环境下的练习应当根据学习能力和学习思维，智能匹配与其水平和先验知识相当的练习测评任务，让其测评过程既有挑战性又有成就感，同时能够使其从知识理解层面完成从迷思概念到正确概念的转变。

●基于内容掌握的个性化学习路径规划

最近发展区理论对学生能力范围的清晰界定和差异表现说明传统测评在评价内容和反馈步调上整齐划一的特性无助于促成每个学习者达成目标。个体学习风格和能力的差异使得学习测评要以内容掌握为常量，以掌握时间为变量，根据学习者的掌握程度和进度动态规划学习内容和活动路径。在设计和分析上应当对学科知识点进行属性标记，包括难度、掌握程 度、学习状态等。其中，难度区分为简单、中等和困难;掌握程度区分为未掌握和已掌握;学习状态区分为待学习、进行中和已完成。基于测评内容结果对知识学习状态进行评估，进而动态优化后面的学习路径，使学习能够循序渐进并更加有效。

●基于活动参与的个性优势识别

学习结果是学习过程的精炼理解，通过对学习活动、过程和行为进行分析和评价可以更为精准地测评出学习者的知识水平和能力特征。学习活动行为既包括外在行为，如访问学习资源、测评考试、互动交流等，也包括内在行为，如学习偏好、思维特征、能力倾向等。相对于传统学习环境在数据搜集上的乏力性，数字化学习环境下的学习行为数据可以通过学习 平台进行记录和搜集，由此我们可以对其进行个性化分析，洞察学生的真实学习过程和能力，识别出其个性优势。依据加德纳的多元智能理论对学习者在测评题目、观点表达、行为路径等方面进行内容和行为解析，获取学习者在语言、数理逻辑、空间、人际等方面的个性特征，有助于创新型和个性化人才的培养。

●基于测评结果的知识地图描绘

对学习结果的测评和反馈不仅仅是对题目内容对错的简单评判，还要从学科知识内容出发，识别出学生知识薄弱点，并根据知识点间的相互承接关系和掌握程度描绘出个人知识地图。在知识地图的构建上，通过采集学习者结构化、半结构化和非结构化学习行为数据对其进行结构化处理，利用实体识别、语义推理、关系抽取与识别等技术进行挖掘和构建。知识地图应当具备知识推理的逻辑结构能力，并使知识内容和关系更好地理解语义范围域，根据测评结果实时更新地图内容。通过知识地图中知识点逻辑关系、掌握度、强弱点、迷思概念等信息呈现促使学习者的自我概念系统向科学概念系统转变。

（本文系摘编，未标注参考文献等，详阅及引用务请核对原文。）

编辑：单玲