有奖:语音产品征文挑战赛等你来> HOT
知识引擎应用评测功能支持用户对知识库问答应用进行问答效果测评,对知识库问答应用的问答效果进行批量测评,以保证实际使用效果。



应用评测步骤如下:
1. 进入知识库问答应用详情页后,单击应用评测 Tab 页签,进入评测任务功能模块。
2. 单击样本集管理,进入样本集管理页面。
3. 单击导入样本集,弹出导入样本集窗口,参见 评测样本上传模板 构建样本集文件。
注意:
样本集文件规则:
样本集文件大小要求在5M以内。
每条测试语料一行,每条语料不超过200字。
测试样本语料数量需大于100条,小于5000条。
导入的测试语料会检查重复,重复语料会自动忽略, 不进行导入。
4. 单击导入文档,上传样本集。



5. 单击评测任务,进入功能模块,单击新建评测任务,弹出新建评测任务窗格,根据引导填写相关信息并选择样本集后,单击新建,创建评测任务,自动开始批量测试。



6. 测试完成后,将通过站内信的形式告知您,单击标注,进入答案标注。


7. 在答案标注界面,可以人工判断应用的回复是否准确。



8. 通过对回复答案的标注,可以计算出当前测试任务的准确率,计算方式为:准确率 = 已标注正确的问答 / 已标注的问答。



注意:
应用评测进行过程中,无法对知识库内容进行更改,包括新增导入、删除和修改知识设置。