学习
实践
活动
工具
TVP
写文章

智能算法评测系统实践

比如以前常见的Bad Case就是拿算法训练数据来评测,效果异常的好,但产品上线后用户的反馈很一般甚至很差;还有就是我们经常犯的错误,纯粹拿自己用户的数据来评测,这里很容易受到马太效应的影响。 【任务分发系统】 一些小量级的评测人工部署就好,但智能算法效果的评估往往评测数据量级都很大,这时就需要一个强大的系统来提升效率和减少人力成本。 稳定性能保证我们评测正常进行,但如果想要高效,我们的系统还需要有较好的智能性。 3 ● 评测结果的分析 ● 【概览】 评测系统设计是灵魂,任务执行是躯干,那评测结果就是做的事了,最终还需要有一套完善的机制让评测结果能够成功推进智能算法的改进。 一个优秀的评测系统,应该是从用户角度出发,结合产品特性全面把控各项指标,同时能够准确、稳定、高效完成各种评测任务,推进智能算法不断改善。 没有科学,爱是无力的;没有爱,科学是破坏性的。

46120

智能算法评测系统实践(一)

随着人工智能的发展,我们现在各个产品线中都融入大量的智能算法,方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。 这里就简单介绍一些我们在智能算法评测实践过程中的一些心得,主要会从评测系统的设计、评测的执行以及评测结果的分析三个方面展开,由于内容较多这篇文章我们重点阐述第一点。 评测系统的设计 评测系统的设计是整个评测系统的灵魂,决定了整个评测系统该怎么做,而且对后续产品算法的走向都起到至关重要的作用。 从产品最根本的特性出发、同时全面掌控产品的特性,这就是我们规划评测指标最核心的目标。 评测数据 都说人工智能是数据喂出来的,其实对评测来说也是一样,结果的好坏完全取决于数据。 比如以前常见的Bad Case就是拿算法训练数据来评测,效果异常的好,但产品上线后用户的反馈很一般甚至很差;还有就是我们经常犯的错误,纯粹拿自己用户的数据来评测,这里很容易受到马太效应的影响。

1.2K20
  • 广告
    关闭

    腾讯云精选爆品盛惠抢购

    腾讯云精选爆款云服务器限时体验20元起,云数据库19.9元/年起,还有更多热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    英语听说数据全程追踪分析 腾讯英语君打通英语教学“堵”点

    近日,腾讯教育旗下智慧英语听说教学解决方案——腾讯英语君亮相深圳市龙岗区初中英语教研会,只需通过一个软件一套答题器,就可以帮助学校搭建起英语听说互动课堂,助力解决英语听说教学训练不足、学生口语水平难提升的问题 一键搭建英语听说互动课堂  音素级口语评测实时纠错  “哑巴英语”是中国学生学习英语常见的现象,大量学生学习英语十多年依然面临听不懂、说不出的尴尬。 在课堂教学时,教师通过大屏播放听说训练内容,学生则使用答题器与之互动,互动结果会实时上传至系统并同步得到个性化反馈,教师可以实时掌握每个学生的作答情况,从而进行针对性讲评。 据了解,目前腾讯英语君已授权或公开专利40余篇,涉及中英文口语评测、韵律度评测口语考试系统NLP技术、口语考试系统语音技术、口语考试系统评测、作文批改、语法纠错等多个领域,为科学高效的AI英语教学提供驱动力 在此基础上,腾讯英语君可以支持各种各样的互动听学训练类型,如集体朗读、角色配音、个人抢答等,丰富听说教学的课堂形式。无论是集体作业、小组训练还是个人作答,都能实现精准评测,并实时生成评价反馈。

    20950

    中国AI军团称霸全球口语翻译大赛!搜狗夺冠,讯飞阿里二三

    口语机器翻译“华山论剑” IWSLT,全称:International Workshop on Spoken Language Translation,是全球最具影响力的口语机器翻译评测比赛。 具体到本届,IWSLT 2018的口语机器翻译任务主要评测,基于指定数据集从英语到德语的语音翻译能力。 所以对于中英翻译场景为主的中国公司,更考验技术实力。 2大赛道比拼 本次比拼共分2大赛道: 一是Baseline Model(基线模型赛道),主要评测语音翻译的流水线方案,输入语音先通过语音识别系统得到语音识别结果,之后将结果送入机器翻译系统获得译文。 而本次评测中,在训练集、测试集相同的情况下: Baseline Model赛道最好的系统取得了28.09的BLEU; 而End-to-End赛道最好的系统仅取得了19.4的BLEU。 与此同时,搜狗也开始在AI智能硬件上施展拳脚,推出了一系列的智能硬件,将语音翻译技术应用到了更广阔的场景之中,让更多消费者用户可以直观使用,并解决跨国交流的问题。

    42740

    检信智能非接触式心理参数智能分析与评测系统

    本发明公开了一种非接触式心理参数智能分析与评测系统,包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块;所述个人信息及数据采集模块 本发明提高了语音识别的准确率,降低了语音识别系统的复杂性,增强了软件健壮性。

    12820

    注意,有场景的公司正在拿起AI武器

    去年下半年,他们对外推出一款AI口语评测引擎,用于K12领域口语测评打分。 之前,行业内有技术领域出发的先发产品,涵盖讯飞、思必驰、云知声和腾讯等玩家。 亮结果 一起教育科技展示了由业内教育专家组织的评测结果。 评测涉及两个方面,分别是句子层面和单词层面,核心指标是分数分布和分差分布。 分数分布指的是口语评测引擎为样本打分的情况。 相对于其他各家来说,一起教育科技的口语测评引擎,不论是在模型上、标准上,还是在训练数据上,都更加专注于K12教育场景。 首先是训练模型的数据,来自于自己收集的作业数据,经由教研团队仔细标注。目前,一起教育科技已经积累了万小时级别的口语数据集。 其次是评分标准,只是将GOP算法作为其中的一个维度。 评分标准更加细化,也减少了模型训练时对数据的需求。目前,口语测评引擎已经融入到了一起教育科技的产品之中。 ?

    32620

    腾讯教育智聆口语评测亮相微信公开课,英语好不好AI告诉你

    之前觉得只有参加那种专业口语测评考试才有机会体验到,现在通过微信小程序就很简单的完成了。而且,单词、句子、段落、自由说、情景对话等评测模式一应俱全,还有不同维度的打分,对英语口语训练挺有帮助。” 来自深圳的孙小姐在微信小程序上评测完后,分享了自己的体验。 “ 有来头:解读智聆口语评测的“前世今生” 智聆口语评测是由腾讯云团队基于微信“智聆”的技术与应用基础,创新算法研发而成的语音评测产品。 2017 2017年11月,腾讯正式对外推出微信“智聆”,并在多种场合展示了其AI语音识别的能力:如联合腾讯翻译君推出会场同传服务;为腾讯云小微智能服务解决方案提供远场语音识别能力;联合腾讯云推出电话客服质检服务 2018 智聆口语评测全面开放 “ 3+5组合拳:铸就产品基本实力内核 “让听和写变得更简单”,是智聆口语评测的理念。 目前,智聆口语评测已经为腾讯众多合作单位的在线教育产品输出技术支持,如知名在线儿童英语教育机构Vipkid,就是通过接入智聆口语评测系统,为用户提供差异化的口语评测能力,帮助学生进行口语练习,取得了非常好的用户口碑

    81120

    国内首届中文人机对话技术评测赛果出炉,两项任务冠军团队都分享了哪些技术细节?|SMP 2017

    详细内容请参考:中文对话技术评测官网 http://ir.hit.edu.cn/SMP2017-ECDT 经过近五个月的筹备和角逐,共有7支队伍获得了奖项,其中华南农业大学口语对话系统研究室(scau_SIGSDS 主办方根据是否仅允许使用其提供的评测数据进行训练和开发分为封闭式和开放式两项评测。 三、技术架构 ? 3、评测 在最后的评测测试中,我们采用训练集和开发集,重新构建领域关键词表,并采用10折交叉验证训练了LSTM分类器。 评测结果中单项(封闭式和开放式)前三名的参赛系统以及前十名平均值评测结果如下表所示: ? 我们的系统取得了封闭式和开放式两项第一名,比Top10平均值的领域分类性能高了4.4%和4.7%。 AI 科技评论注:以上内容由华南农业大学口语对话系统研究室scau_SIGSDS团队和深思考人工智能机器人公司(iDeepWise)提供。

    1.2K100

    语音翻译也能端到端?深度学习这条路有戏!

    ---- 新智元报道 来源:科大讯飞 编辑:文强 【新智元导读】科大讯飞日前在全球最具影响力的口语机器翻译评测比赛IWSLT中,获得了语音翻译端到端模型评测的冠军,还成为英德口语翻译任务中唯一受邀做 因此,实际应用系统中,通常会在语音识别和机器翻译之间增加一个语音识别后处理模块,通过对识别结果进行规整、断句、顺滑、标点预测,甚至纠错来尽可能地减小口语化和识别错误的影响。 国际顶级口语机器翻译评测比赛 IWSLT,推动语音翻译新方向 IWSLT是国际上最具影响力的口语机器翻译评测比赛之一,重点关注口语,实现语音到文本的翻译,从而解决人和人交流的问题。 基于语音和机器翻译上雄厚的技术积累,讯飞研究团队针对端到端语音翻译任务开展了探索性研究,最终在英德语音翻译任务的端到端模型评测方案上获得了第一名(与第二名BLEU分数拉开9个百分点,一般而言,提升3个百分点就能明显体会到系统的优劣差异 “我们参加了本次IWSLT评测的语音翻译任务,在基于传统的基线模型中,针对语音识别文本结果和机器翻译训练数据源语言文本风格不匹配问题,提出了对源语言文本逆变换以适配识别风格的方法,提高了语音翻译的鲁棒性

    47340

    腾讯英语君落地四川天府新区 “AI考官”助力高效开展英语口语测试

    天府师大一中英语口语测试现场 在腾讯英语君的支持下,天府新区各个口语测试考场秩序井然。老师只需要指导学生按步骤进入测试界面,通过监考系统检查学生全部登录并准备好后,点击开始测试即可。 同时,腾讯英语君依托先进的语音识别、口语评测、自然语言处理等技术,可以对学生口语发音进行段落、句子、单词、音素的细粒度考评,甚至可以精确检测到哪个音节发音标准,哪个还不够理想,从而更精准地呈现学生的英语能力 作为腾讯教育面向英语教学及听说训练考试场景打造的智慧英语解决方案,腾讯英语君目前已在北京、上海、四川广安、广东佛山等地的学校落地,为学校师生提供日常英语听说教学和学习辅助服务,并被引入青海、山东等地的高考英语口语考试 依托于腾讯三大AI实验室,腾讯英语君将神经网络算法、图像识别技术、语音识别和口语评测技术、自然语言处理、大数据应用等AI能力与英语教育中的实际场景相结合,帮助学生提高英语听说应用能力。 其中,腾讯英语君的口语评测技术已有10多篇论文入选全球顶级语音大会INTERSPEECH,并已授权或公开专利40余篇。

    15710

    边学边测、AI现场评分!这所学校的英语听说课人均配备贴身“助教”

    在中考英语听说微技能系列在线训练课堂中,学生通过电脑、平板学生端参与口语任务活动,学生每一个单词的发音在2秒内得到了精确到音节级别的评估反馈。 腾讯英语君依托行业领先的人工智能技术,助力英语听说教学实现音素级口语评测,并且打通课前、课中、课后的教学数据闭环,实现个性化教学的同时,促进“双减”政策的进一步落地。 学生的每一次参与,系统都将实时反馈,进而形成多维度的个性化学情数据。 据了解,腾讯英语君依托腾讯三大AI实验室技术能力,充分运用神经网络算法、语音识别和口语评测技术、自然语言处理、大数据应用等AI能力,为智慧英语教学提供技术支撑。 同时,与考评系统的进一步打通,让考评结果能够更好地反哺教学过程,形成以考促教,以考促学的良性循环。

    14920

    ​让人工智能融入课堂,而不是取代它

    在他的眼中,教育信息化2.0中很重要的一点,就是希望通过智能化来推动教育系统的改革。 现在看来,一些将科技融入课堂,而不是彻底取代传统课堂形式的尝试是有益的。 联想在智慧教育整体系统设计中参考的主要理论,有德国心理学家赫曼·艾宾豪斯(Hermann Ebbinghaus)的遗忘曲线和美国国家训练实验室的“学习金字塔”理论等。 随着新高考的推行,一些省市的师生将迎来口语考试。在此前重庆举行的“第七届全国名师名校长论坛”中,来自全国的教师在展台上看到了这套联想英语听说模拟考试训练系统解决方案。 基于深度学习技术的智能语音评测引擎,这套系统可以帮助教师和学生完成模拟考试、辅助教学,以及口语练习等教学活动。 它不仅能够真实地模拟当地正式的中考、高考考试环境,帮助学生熟悉考试流程及内容,还可以通过智能语音评测技术对学生的成绩进行分析,生成多维度的分析报告,帮助教师及时了解学生口语水平,针对性的安排教学课程与专项训练

    11120

    腾讯教育云亮相中国教育装备展 多项产品能力共建教育新生态

    未标题-1.png 腾讯云教育装备展展台△ 现场不仅展现以AI能力为基础的“智慧课堂”、“智聆口语评测”、“优图速算题目批改”等在线教育产品,还展现了连接人、设备和服务的微信校园卡,以及助力高校培养综合型 AI落地教育领域 在本次展示会上,腾讯教育云落地AI在教育领域的应用,推出“智慧课堂”、“智聆口语评测”、“优图速算题目批改”等在线教育产品,覆盖了小学、中学、大学以及成人的教学场景。 1 智聆口语评测 关键词  单词评分 句子评分 多维度打分 聚焦英语口语类教学业务,腾讯云联合微信智聆团队研发出“智聆口语评测”产品,支持从儿童到成人全年龄覆盖的口语打分,能够从发音准确度、流利度、完整度 智聆口语评测有效解决了过去只能依赖专业教师听后进行主观评估,成本高、学习时间难以保证的问题,并且打分结果与专家打分相似度在95%以上。企业或学校可通过调用标准的API技术接口,实现口语评分的能力。 优图速算题目批改及智聆口语评测演示△ 智慧校园 在线教育只是腾讯教育云平台能力的一个方面,借助互联网技术与校园管理深度融合,腾讯教育云打造智慧校园管理系统,为学校与师生带来更高效的管理模式和更便捷的校园生活体验

    75231

    跟AI学口语,鹅厂“神器”了解一下

    AI如何拯救你的口语发音? 作为AI语音识别技术,智聆口语评测是由腾讯云团队基于微信“智聆”的技术与应用基础,创新算法研发而成的语音评测产品。 ? 老母亲和老师的福音——作业批改 除了评测口语,智聆还支持智能作业批改,针对培训机构的英文在线作业,在学生提交的时候进行语音评测在线批改。 ? 智聆如何让你的口语 从“青铜”变“王者”? AI口语“砖家” 智聆口语评测的语音评测打分结果与专家打分拟合度95% 以上,就如同把一位真人口语专家请到家中,随时随地陪你开练,给你不标准的地方“拍砖”,促进口语提升。 除了在学校里辅助老师完成口语教学之外,智聆口语评测的身影还出现在在线教育机构中。 目前,智聆已经帮助Vipkid、美联英语、叽里呱啦等众多教育机构,实现对学员口语发音的准确度、流利度、完整度的人工智能评估,让学员或家长了解学习成果及不断自我修正。 ?

    64830

    NLP和计算机视觉在AI教育的那些年,数据桎梏一直是难点

    对应的常见的自然语言处理应用包括:搜索引擎、机器翻译、语音识别、问答系统。 更为细致一些,词性标注、句法分析以及多轮对话用在了自动评分,辅导口语写作等外语和母语教育领域。 从NLP中的语音分支来看,以智能发音评测为例,基础测评功能的实现技术门槛不高。然而,如果要评测系统能够精准的、全方位的,评价各个发音人的发音情况,则就需要海量精准化、多维度的标记数据。 更为具体一些,当前在一些NLP模型中,常用的语音评测技术,比如用于英语口语教学中的语音评测,一般都是采用智能打分技术对学习者的口语进行评测,而目前智能打分技术主要还是基于GOP(Goodness Of 专业规范的数据不仅能够提高训练AI模型的效率,对“成本”节省的重要性也是不言而喻。 另外,关于开源的数据集,这里给大家推荐一个北京爱数智慧科技有限公司发布了智能教育行业具有代表性的英语发音语音评测数据集。 包含14+小时中国人说英语的数据,说话人性别比例接近1:1。

    66320

    联想高校AI精英挑战赛上交站落幕,“AI糖尿病筛查”项目获青睐

    Deep DR:“可持续学习的人工智能糖尿病眼底病变筛查与诊断系统”。 初始训练数据1万条,目前病例库已达10万张。 “灵客”智能对话母系统:面向智能客服,基于知识图谱自动构建、深度学习、自然语言理解等技术的智能对话系统。主打自动化构建、多轮记忆,缩短开发周期,降低开发成本。 面向环卫部门、保洁公司,利用数据生产资料建立智能服务平台,提高运营效率和服务质量。 A. EYE人工智能团餐系统:面向食堂、公司团餐等场景,基于图像识别的无人收银系统。 “练练不忘”英语口语陪练:人工智能雅思口语即时评测系统训练数据来自高校、语培机构,通过算法对使用者口语水平进行评分,生成报告,从而促进英语口语自学,找到口语考试评价标准。 ?

    49870

    AI化身英语听说“考官” 腾讯英语君助力英语听说考试场景升级

    同时,针对学生在考试中的英语发音,系统凭借业界领先的音素级口语评测技术,及时做出精细化、音素级特色诊断。 光明小学学生 通过腾讯英语君完成英语听说模拟考试 考试结束后,腾讯英语君听说考试系统一方面凭借“评分+纠错”的双引擎评测及音素级AI评分技术,保障本次模拟考试评阅的准确性和公平性。 另一方面,系统基于图像识别、自然语言处理、数据挖掘等人工智能技术,汇总学生考试过程和结果数据,形成学情报告,为老师的教学策略调整提供依据。 据了解,腾讯英语君听说考试系统是腾讯教育背靠腾讯三大AI实验室技术能力,运用神经网络算法、图像识别技术、语音识别和口语评测技术、自然语言处理、大数据应用等AI能力,针对中高考等高利害考试自主研发的英语听说考试智能化解决方案 该系统由考试系统、考务管理及监考系统、AI评分系统构成,且涵盖了命题组卷、考务管理、学生答题、教师监考、数据采集、智能评分、评价分析报告输出等能力。 多维能力输出的背后是腾讯英语君技术能力的支撑。

    20910

    看得见的未来学校:机器人陪学 AI批作业 刷脸通行

    4月15日,纪录片《看得见的未来》最新上线的一期《智慧互联》,就讲述了一个人工智能与教育结合的故事:AI批改作业、刷脸进出校园、天眼系统预警、自助口语评测、机器人成为课堂小助手、物联网便利校园管理……这些看起来有点酷的场景 再比如,老师手持IPAD的这个镜头,其实是在展示智聆口语评测系统的使用。 当前,在龙华区外国语学校中,老师们可以借助AI来评测学生们的口语水平,无论是单词、句子、段落,还是自由说,情景对话,AI评测系统完全能够标准应对。 同时,学生回到家后,也可以使用智聆口语评测进行自助练习,帮助提高自己的口语水平。 ? 纪录片中,其实也一窥“未来教室”的一隅。比如,龙华附幼的VR互动课堂,远程英语教学课堂,龙华外国语的全息教室等等。 最潮的学校管理:投过一块屏洞见全局 整个纪录片里,令人印象深刻的,还有那块巨大的智能大屏。

    45820

    扫码关注腾讯云开发者

    领取腾讯云代金券