解构PTE评分,我们开始了
一切从简单假设开始,当然实际模型要比这个复杂,没必要在此没完没了:
发音数据打分原则得分
这三项构成输入层、隐藏层和输出层,我们掌握了大量输入层的数据,目标是输出层的得分。市面上现有的语音测评对于培生的评分机制研究甚少,仅以输入层和输出层得分做基础比对,算法正确度很有限,后续样本数据的输入后得分能不能趋近PTE所认可的正确,这就很难讲了。
而且足够多的样本数据下,我们已经猜到了口语评分标准有着怎样的原则,但是逼近评分规则的过程中还有细节还需要推敲,具体是什么,出发后才知道。
(yooooohoooooo,所以我们就空手上路了!)
在产品上线后,羊驼开放给所有用户使用,交互、通道、评分的不足之处也就浮现出来。上线后第一天,教研拿着学员测试发音拍在技术面前:口语速度慢,流利度分数偏高太多,我们需要重新做算法。技术言之凿凿:这个算法测试过的,到底是怎么回事啊。过了一阵儿,技术部无奈地抬头望天:学员到底是怎么测的…一般用户都不会这么用的啊…行吧我们改。
紧张地盯着屏幕数据,跟进搜集每一条反馈,调校,修改,测试再调校...以上是这一个月内技术团队反反复复发生的场景。
(为了搞清楚环境音对评测的影响,技术部小哥能躲卫生间测试一两小时)
剪不断,理还乱的BUG
还是那个著名的例子:AlphaGo,首先围棋是两个大脑之间的博弈,深度学习的AlphaGo在这里面的作用起的是归纳历史棋局的作用。围棋虽复杂,但是规则是有限的,也是明确的,所以在大量数据和高性能计算上,深度学习通过归纳下围棋的方法能打赢人类。这里可以理解为深度学习不过是个复杂的函数映射逼近算法,同理,PTE的评分规则就是我们要搞清楚的东西。
如果定义每一位考生的每一次语音测试+得分为样本,在样本还不够多的前提下,那么你面对的这个PTE人工智能系统在初期是存在一定漏洞的,这其实很好理解。
人工智能发展到现在已经在某些领域小有成就,但还是存在着问题,AlphaGo和无人驾驶是在不断的修正中才能保证输出的正确性。但说到底,现有的人工智能,在意识和推理这一功能上,不能和人脑相提并论。
在不同的应用场景,尤其是PTE评分这一个模型中,人工智能能不能很好地解决问题,取决于输出是否逼近理想值以及是否有足够的样本输入来进行评分机制的自我调整(减小损失函数),最终来帮助我们完成评估得分的任务。
羊驼团队,正在努力
规则终归是有限的,能拿高分的口语发音特点也是明确的,在大量数据和高性能计算上,PTE为核心的一系列考试产品和以机器智能引擎为基础的产品,必将获得更大的市场认可。逐渐可以成为雅思和托福的强劲竞争对手。
羊驼也在实时跟进并调校APP口语测评功能里的每一个因子的权重,同时也保证APP的使用体验与测评反馈效率:
现阶段对于羊驼APP来讲,最大的考验不是模拟培生,而是有足够的弹性适应变化,市场在变,规律在变。随着数据的累计,bug将会逐渐被发现、被修正,得分趋于稳定的期望值。而保障学员更加顺畅的学习体验,有效地缩短拿分周期,是我们未来工作的重点。
这一天,佳日可期。
邀你抢先体验
APP尊享会员
PTE考生机经每周收录更新,更新补全考生回忆。独特浏览标记看题,让英语阅读学习更友好;
RA/RS/RL/DI/ASQ/单词,口语练习测评功能,为英语口语考生指出音标、单词、句子、段落的弱点所在,提供考试总分、流利分和发音总分让考生参考来对自己的发音进行修正;
PTE分享互动羊驼社区,PTE新鲜考场机经收录、战友动态、资源互换、都可在这里一键完成。
羊驼APP新版上线,会员版独享更流畅无碍的口语测评体验,邀请后台留言前20名用户赠送价值28.88元月卡,先到先得。
520,玩点刺激的
今日捷报
羊驼PTE | www ytaxx.com
长按小程序码,即刻体验最全机经库!
机经自助提取,不求人!
新题旧题,一网打尽!
领取专属 10元无门槛券
私享最新 技术干货