专栏首页企鹅号快讯在人工智能的世界里,测试将是一场噩梦,衡量标准将是关键

在人工智能的世界里,测试将是一场噩梦,衡量标准将是关键

人工智能进入企业是由更多的数据的可用性推动。更多有趣的数据可用于更高的数据量,因为已经被测试的系统,应用程序,进程和接口的数量正在增加。数据的可用性使龙头企业进入了一个前所未有的企业自动化阶段。

在这个阶段,企业将在其流程中整合更多的预测性决策。这些决定将由一个或多个AI模型提供支持。概率决策将被证明是企业的巨大福音。然而,概率决策的引入将为企业带来质量和测试挑战的新水平。这将迫使行业如何进行质量保证以及如何设计和生成测试指标。

新的质量标准

相同的数据,多个模型,相同的AI场景

在这种情况下,使用相同的数据来生成多个AI模型,使用不同的AI技术为相同的AI场景/业务问题提供动力。不同的算法和技术以不同的方式利用嵌入的信号和数据结构来产生AI模型,从而可以表现得非常不同。

转换后的数据,多个AI场景

在这种情况下,数据集通过几种ETL机制转换为不同的AI场景/及业务问题。数据的转换可以在下列之间变化:

采样:数据集的一个子集在子集可以被使用,但不必随机生成。

过滤:训练数据集旨在包含或排除某些类型的行或信号。

预测:训练数据集旨在包含数据集中可用属性的子集。

聚合:训练数据集是通过聚合建立的,跨特定的一组属性或随着时间的推移。

派生:训练数据集是通过一个或多个属性级别转换(如字符串到整数,整数到分类,装箱等)构建的。

AI生产链

在这种情况下,建立了多个AI模型,并通过数字方式或通过模拟的人力连接相互连接。例如,用户可以使用AI模型的输出来确定结果。他们可以将结果输入到业务工作流程中,也可能输入第二个AI模型,或者人员可以使用第一个AI模型的结果来确定下一个输出。在这种情况下,第二个AI模型的结果的质量可以根据第一个AI模型的结果的质量而变化。

测试最佳实践

企业范围内的数据转换映射

企业需要确保他们建立和维护全面的企业级数据转换图。这个企业范围内的数据转换映射应该描述如何从原始数据源获取数据,并将其转换并提供给AI模型。

拥有企业范围的数据转换映射,可以轻松无缝地确定AI模型的出处。这是确定上游数据质量问题对AI模型和AI模型所影响的业务工作流程的影响所必需的。

数据转换语义分析

企业也需要投资于运营和语义上的数据转换。语义数据分析可以确定将数据转换应用于原始数据集后生成的输出数据集中的模式及其结构。

在数据的转换版本中确定这样的模式可以用于分析数据转换技术。当数据或其转换技术中的错误改变数据转换的概况时,可以生成警报,并且可以估计对下游AI模型的质量的影响。

AI生产链中的限制

企业应该投资人工智能工作流程功能,以便在下级业务工作流程中使用上级AI模型的输出的限制。另外,这些约束条件应该是可配置的,并且可以被严格监控,以确保上级AI模型的输出消费者能够理解和明智地使用输出。

AI测试指标

企业测试规范需要投资于AI 测试指标,这些指标能够精确地确定和测试不仅仅是单个转换或AI模型的质量,而是整个AI驱动的业务工作流程的质量。除了低级测试指标之外,测试指标还需要包括衡量整个AI驱动的业务工作流程是否实现其目标和客户需求的测量。

鉴于AI驱动的工作流程的预测性质,在整个工作流程完成之前,确定失败或不理想的结果可能并不明显。测试指标和收集数据并生成这样的测试指标的系统需要进行测试,以收集业务工作流程的最终结果,以定义和提供全面的测试指标和质量确定。

本文来自企鹅号 - 你的第一媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 谷歌在北京成立AI中国中心

    AI爆点 ? 昨日,在上海举行的Google开发者大会上,Google 发布了一个重磅消息:谷歌将在北京成立AI中国中心。该中心将由李飞飞和Google Clo...

    企鹅号小编
  • 在这里,读懂AI

    2017年就要过去了,总会因为一些事情,让你怀念它。 这一年里,人工智能是频频刷屏,科技大佬们几乎是言必称AI,AlphaGO也出够了风头,媒体更是早早放言AI...

    企鹅号小编
  • 2017关于人工智能与内容生产最全面的总结

    今年双11,阿里的AI鲁班系统完成了4亿张海报的制作,人工智能内容生产的高效震惊了很多人。 除了阿里的鲁班,实际上近来在文章、图片、影视、游戏等内容领域,已经陆...

    企鹅号小编
  • 找对象的区块链都有了,程序员你为什么还单身?

    镇定,不要怕,我们已经找到了很多方法,解决单身和撩妹撩汉这些问题了。从训练沟通、到相识相知、再到约会恋爱、结婚再婚的一条龙服务,都有合适的程序和算法来为你解决。

    HyperAI超神经
  • 知乎大神田渊栋:人工智能的当下与展望

    作者:田渊栋 Facebook | 人工智能研究室 量子位 已获授权编辑发布 本文作者田渊栋,毕业于卡耐基梅隆大学机器人系,现就职于Facebook人工智能研究...

    量子位
  • 这家明星公司终于栽了!印度码农装AI,一赚就是3000万

    有家做语音助手的公司开了一场声势浩大的发布会来宣传自己的新技术,还现场做了个实时演示,用自家的语音助手打电话预约餐厅。

    新智元
  • 腾讯AI加速器招募再启,AI开放由工具箱变方法库?

    伴随AI开放平台兴起的除了AI创业大潮,还有“AI加速器”这个源自硅谷的舶来品。本土科技企业、知名国际加速器纷纷通过新设业务或分部的方式入局AI加速器,既有腾讯...

    用户2908108
  • AI成为黑白棋史上最弱“臭棋篓”!只要它想输,你就必须赢

    在击败国际象棋世界冠军的著名电脑“深蓝”尚未出现时,90年代初的黑白棋界已经存在名为“Thor”的最强黑白棋程序。

    大数据文摘
  • 【周一AI资讯】逐步万能的人工智能为何仍需人工判断?

    据杂志《物理评论快报》和《混沌》近期报道,马里兰大学的爱德华教授团队使用机器学习来预测混沌系统未来发展的情况,被外界认为是具有开创性的方法,并可获得广泛应用。他...

    用户1386409
  • 腾讯AI制霸王者荣耀,世界杯5V5 「绝悟」绝杀职业玩家,1天训练强度超人类440年

    昨日,腾讯AI Lab研发的智能体「绝悟」在王者荣耀世界冠军杯半决赛特设环节,与职业选手职业选手赛区联队的5v5对决中获胜!

    代码医生工作室

扫码关注云+社区

领取腾讯云代金券