导语 | GAME AI SDK 是腾讯 TuringLab 研发的首个开源项目，着重解决自动化测试工具中的通用性问题，最初主要用于游戏 AI 自动化测试服务，现在可用于手机 APP、PC 端游戏、软件等专项自动化测试。通过 AI 算法进行大数据训练的网络模型具有良好的通用性，可以直接在同一类游戏（软件）中适用。文章作者：周大军，腾讯 AI 工程组专家工程师。
在自动化测试、UI设计和其他一些需要模拟人工输入行为的场景中，我们常常需要编写程序来模拟鼠标移动、键盘输入等操作。PyAutoGUI是一个Python库，它提供了一组简单而强大的函数，用于实现自动化操作。本文将介绍如何使用PyAutoGUI来进行自动化操作。
介绍到这里会有人问，有了webdriver等ui自动化后为什么还要用图像识别呢？我认为主要有以下这几点：
目前在测试领域中安卓UI自动化，维护成本是非常高的，那有什么方法可以降低维护成本呢？我个人看法有几个，通用的就是使用PO模式设计，跟开发约定命名规则，还有同一个控件可以多个元素定位，图像识别，开发录制工具，降低编写脚本门槛，AI自动化，这些是在排除功能需求频繁变更的因素之外，以下对大家比较有疑问的进行简单解释下： 同一个控件多个元素定位是指不同的版本中同一个按钮的元素如res-id不一样，这时候只要这个控件的定位输入多个res-id，这个没有找到就找下一个，这样脚本就可以在多个版本使用，脚本的复用性就很高了； 降低脚本编写门槛，就是通过简单培训，不需要有编程能力，人人都可以参与脚本的编写； AI自动化，就是通过操作app的规则生成文件，然后通过辅助apk把文件上传到服务器，进行热点分析，然后把数据推到自动化框架进行测试（弱弱地说，已实现，效果还不错，投入成本不高） 图像识别解决难定位元素以及webview，WindowManager 做的图标或者页面定位操作；
在电脑屏幕监控软件中，图像识别算法就像是一个电脑版的侦探，用着最先进的计算机视觉技术，自动监视和分析屏幕上的图像内容。图像识别算法可以轻松地识别出屏幕上的物体、文字、图案等等，不管它们是多么复杂或是隐蔽。无论你是在监控系统里还是在视频编辑软件中使用它，都会让你感觉到“嗯，这真的是太强大了！”下面就为大家简单的介绍一下图像识别算法在电脑屏幕监控软件中优势与实用性。
（1）异常处理机制方面。软件自动化测试的脚本在操作应用出现异常时只要记录错误信息，再进行一些截屏，这样就已经够了。而RPA的自动化脚本更加注重于出错处理，针对流程中所有可能出现的异常情况进行一定的处理，以确保能按照预定流程执行。而RPA需要添加更多的检查点，以确保流程执行无误。
最近，图像识别领域发布了白皮书，简单翻译一下做个总结。 ---- 目录 [1] Introduction 1.1 Exponential Growth of Image and Video 1.2 Statistics [2] Image Recognition [3] Recent Innovations 3.1 Approaches 3.2 Deep Neural Networks [4] Applications 4.1. Inform
背景 自动化测试从最早期的录制回放技术开始，逐步发展成DOM对象识别与分层自动化，以及基于POM（Page Object Model）来提高用例复用，到当前火热的基于AI技术的自动化，体现了自动化测试的发展趋势是更加智能，更加精准，更加高效。在这里我们给大家介绍两种在业界已经有广泛使用的智能自动化测试技术： 自愈（Self-Healing）技术 机器学习（Machine Learning）技术 自愈技术 1.1 什么是自愈技术 自愈（Self-Healing）技术在计算机术语中是指：一种自我修复的管理机制。
对于安卓app专项性能测试中的页面加载/启动时间测试，对于测试方法的选择主要考虑技术，成本和测试项；对于启动时间/页面加载时间目前主要测试方法有五种，第一种是通过Android Device Monitor 通过筛选包名和Displayed关键字，来看启动时间；第二种是通过获取APP的启动activity，然后通过adb shell am start -W 包名/xxxActivity启动页面，然后输出的的时间有This time,Totaltime和Waittime三个时间；第三种是通过高速摄像机和QuickTime Player 来测试；第四种是通过自动化和图像识别来统计时间；第五种是让开发在代码插桩来进行统计；其中第五种是依赖开发或者依赖代码，并且存在无法判断元素是否加载完成，存在误差，综合以上，根据能力的区别和成本投入，前面四种测试方法都有人选择，而对于第三种应该是最准确，也是对于高要求的公司在使用，基本高速摄像头，一般1s都有240张图，可以测试的很精准，可以真正的测试到用户感知的页面加载完成的时间；对于成本投入小，精度要求不是特别高的，我建议是使用自动化和图像识别，这个是最好的；
对于喜欢玩游戏的同学来说，无论是大型pc网络游戏，还是手游。最烦的应该就是做每日任务了吧？
Airtest Project是网易出品的一款自动化解决方案，它适用于任意游戏引擎和应用的自动化测试，支持Android和Windows。它不需要依赖被测对象的源码。
Felix，携程高级测试经理，关注无线测试、DevOps、测试框架方面的技术和动态。
最近朋友问我能不能写一个自动化，帮他解放一下双手。我想了想，在我知识里很多辅助脚本制作工具，想想那些可能会有一堆局限性，想到了Python有自动化测试游戏框架或者工具，但是一直没有了解，搜了下资料，突然发现了AirTest，嗯…还是小几年前的东西，于是我面无表情的点击了进去。
最近朋友问我能不能写一个自动化，帮他解放一下双手。我想了想，在我知识里很多辅助脚本制作工具，想想那些可能会有一堆局限性，想到了Python有自动化测试游戏框架或者工具，但是一直没有了解，搜了下资料，突然发现了AirTest，嗯...还是小几年前的东西，于是我面无表情的点击了进去。
Airtest Project是网易出品的一款自动化解决方案，它适用于任意游戏引擎和应用的自动化测试，并且支持Android和Windows。 Airtest 是一个自动化测试框架提供了利用图像识别技术，Airtest Project不需要依赖被测对象的源码。 Airtest Project是跨平台的API，它基本和所有Android移动应用程序和Windows游戏兼容。 在2018年3月26号的Google开发者日上，Google也宣布了这款由网易开发的项目，因此很值得一试。 Airtest Project提供了一个自动化测试编辑器Airtest IDE，Airtest IDE使用了基于图像识别的UI自动化测试框架—Airtest来进行控件定位;它同时集成了POCO框架，POCO框架是基于控件识别的UI自动化框架，支持主流游戏引擎：Cocos2d-x, Unity3d，支持Android原生应用。因此可以选择是用图像识别或者基于控件定位的方式来进行控件定位。
在对安卓手机设计自动化测试用例的时候，判断一个测试场景是否可以自动化的依据在于其是否需要人的参与。对于wifi能否自动打开关闭，短信能否自动收发这样的场景，不需要人参与就可以通过程序来判断，因此对Wifi与短信这样的测试，可以通过程序来实现自动化测试。但是另外还有一些测试场景，需要人的眼睛来看，这种场景要实现自动化就比较困难。
图像识别算法在企业文档管理软件里可谓是扮演了一位全能选手，让我们的文档处理变得轻松愉快，就像吃了一块巧克力一样。现在，让我们来看看图像识别算法在企业文档管理软件里的一些酷炫玩法：
利用计算机图像识别、地址库、合卷积神经网提升手写运单机器有效识别率和准确率，大幅度地减少人工输单的工作量和差错可能。
目前在零售行业的实际运营过程中，会产生巨大的人力成本，例如导购、保洁、结算等，而其中，尤其需要花费大量的人力成本和时间成本在识别商品并对其进行价格结算的过程中，并且在此过程中，顾客也因此而需要排队等待。这样一来零售行业人力成本较大、工作效率极低，二来也使得顾客的购物体验下降。
上个星期分享了《基于Sikuli GUI图像识别框架的PC客户端自动化测试实践》，但sikuli看起来怎么都像是上个世纪的界面风格，且功能过于简陋。而同样基于图像识别框架的Airtest，则无疑强大了许多，本次分享的内容是基于Airtest实现Windows应用的自动化测试，内容大纲：
导读： 根据腾讯WeTest提供数据显示，70%的互联网用户已有3年以上的互联网经验，对应用内容的需求更加追求高效与个性化，需要产品长期稳定产出优质内容。而随着行业内容、信息“暗战”白刃化，只有最高品质的互联网产品才能从贴身肉搏中杀出新风口。 在“互联网+”时代的到来后，移动应用多样化场景和空闲时间分段化，已经催生了多样型用户需求。为了迎合这种多样型需求，移动应用愈发百花齐放，但同时这也意味着产品需要接受更多质量检验，品质为王的趋势致使开发者需要面对更多挑战。 根据Ericsson公开的最新报告显示，智能手
本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据在清华”高峰论坛主论坛所做的题为《机器学习和图像识别》的演讲。
2020年7月，我们探讨了AI与自动化测试的关系，并向大家介绍了腾讯互动娱乐事业群TuringLab团队出版的《AI自动化测试：技术原理、平台搭建与工程实践》一书。这本书将TuringLab团队基于深度学习的自动化AI测试框架基础的开发与应用经验详细的展示在读者面前，与读者分享了腾讯游戏是如何将AI技术与自动化测试相结合完成测试需求的。在文章推送（超链接：https://mp.weixin.qq.com/s/vKhfddXnWZFXcQmU1734xQ）后，不少用户留言反馈了对书中提到的AI SDK的浓厚兴趣，并询问如何下载使用。
导语 2020年7月，我们探讨了AI与自动化测试的关系，并向大家介绍了腾讯互动娱乐事业群TuringLab团队出版的《AI自动化测试：技术原理、平台搭建与工程实践》一书。这本书将TuringLab团队基于深度学习的自动化AI测试框架基础的开发与应用经验详细的展示在读者面前，与读者分享了腾讯游戏是如何将AI技术与自动化测试相结合完成测试需求的。在文章推送后，不少用户留言反馈了对书中提到的AI SDK的浓厚兴趣，并询问如何下载使用。 现在，Game AI SDK开源版本正式对外发布！欢迎各位开发者点
ps:4399AT是基于appium定制改造的安卓UI自动化工具，可以用于全自动化多设备兼容测试，压力测试，遍历测试，功能测试，覆盖安装测试等，定位方式除了常规定位方式，包含多xpath定位，图像识别来解决webview及同一个apk不同版本控件定位问题；功能多多，就不再描述，自行查看订阅号文章；
在计算机视觉领域，图像识别这几年的发展突飞猛进，但在进一步广泛应用之前，仍然有很多挑战需要我们去解决。本文中，微软亚洲研究院视觉计算组的研究员们为我们梳理目前深度学习在图像识别方面所面临的挑战以及具有未来价值的研究方向。
原文链接：http://wetest.qq.com/lab/view/396.html
根据腾讯WeTest提供数据显示，70%的互联网用户已有3年以上的互联网经验，对应用内容的需求更加追求高效与个性化，需要产品长期稳定产出优质内容。而随着行业内容、信息“暗战”白刃化，只有最高品质的互联网产品才能从贴身肉搏中杀出新风口。
最近两天，公司有个PC客户端的测试任务，除了最基础的功能测试外，还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具，于是便应用于测试工作中，辅助测试任务。初步试用下来，总体效果还算差强人意，也间接助我发现了一个致命级别的大bug（后续会介绍）。
本文主要介绍了多端自动化的实践经历而非作为airtest的科普文章（因为airtest的官方文档真的是已经特别全了，非常建议实践之前先看一遍文档，大部分问题都能达到答案），主要叙述了在面对多端大规模场景时，自动化的技术选型、方案设计、实践难点等等。
ChatGPT是一种基于深度学习的自然语言生成模型。它可以通过模拟人类语言的方式来生成自然、连贯、有意义的文本。
工具：appium+mincap+opencv appium用于自动化操作，minicap用于截图，opencv 用于图像识别 页面统计原理 1.app启动：命令执行的时候开始统计到图片数据匹配到的时候就是启动时间； 2.按钮点击：按钮点击后开始统计到图片数据匹配到的时候就是页面加载时间； 采用图像识别统计理由：
1 图像识别是什么？ 2 图像识别的应用场景有哪些？ 什么是图像识别 图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。根据观测到的图像，对其中的物体分辨其类别
Airtest 通过图像识别已经可以编写大部分的测试脚本，页面上需要点哪个元素直接截图，非常方便。 但是在某些特殊情况下，例如App里的动态元素，通过图像识别定位较为困难。所以Airtest Project解决方案也提供了另外一种基于UI控件搜索的自动化框架 Poco UI识别方式，分别是基于两个框架：
人工智能应用的范围很广，包括：计算机科学，金融贸易，医药，诊断，重工业，运输，通讯，法律，科学发现，游戏，音乐等诸多方面。今天介绍19个AI热门应用领域
WeTest 导读 中国移动互联网测试开发大会 Mobile Testing Summit China（简称 MTSC）是由国内最大的移动测试技术社区 TesterHome 发起的软件测试行业技术会议，大会以“软件质量保障体系和测试研发技术交流”为主要目的，由业内顶级大咖担任联席主席和出品人。 2019 软件测试行业最热门技术和质量管理最佳实践，尽在 MTSC2019 大会！ MTSC2019 大会日程 V1.0 重磅发布 MTSC2019 第五届中国移动互联网测试开发大会由 TesterHo
就会跟上面所说的那样，被迫成为一个全栈，这是比较尴尬的。 若你想比较准确的针对某个方向学习，那就继续往下看吧。
【新智元导读】4月18日，清华大学《人工智能前沿与产业趋势》系列讲座第四讲，深睿医疗首席科学家、美国计算机协会杰出科学家、IEEE Fellow俞益洲为大家介绍了目前计算机视觉的应用和落地，特别是在医疗影像方面的发展状况、遭遇的挑战、以及克服挑战的思路。最后和清华大学自动化系副教授、博导鲁继文以及知名天使投资人、梅花创投创始合伙人吴世春一起对计算机视觉的落地机会进行了畅想。
AI技术的火爆无疑是近几年创新应用上的一次革命。如今AI技术在众多科技公司的推动下已经渗透到各行各业，气象行业也不例外。将AI融入到天气预报、大气探测、天气预警以及天气服务中的尝试一直未间断。AI技术的应用背后是大数据的支撑和机器学习的广泛探索。利用AI技术进行雷达图像的识别，进行短临预报；利用AI技术与数值模式结合提升预报的准确率；利用AI技术进行探测数据的质量控制和融合处理；利用AI技术进行天气预警的精准推送；利用AI技术进行大雾的识别、天气现象的识别等等，可以说AI已经在气象领域中全面开花。在复杂的大气物理、化学等机理研究难以取得突破时，融入AI技术是提升气象技术的有利补充。关于天气预报、探测等AI技术的应用上经验比较少，跟大家分享一下我参与实施的在公众气象服务中的一些尝试应用。
Game AI SDK是用于开发游戏自动化AI的开源框架。项目的特点是以游戏图像为输入，直接输出模拟触屏操作，不依赖游戏端提供任何API接口。 适用场景 主要适用于游戏场景的自动化测试，目前已应用在酷跑、竞速、FPS、格斗、MMMO、MOBA等多种类型游戏的场景自动化。特定场景下可以代替人工进行游戏场景的自动化，减少游戏场景测试的人力投入。 功能介绍 提供多种图像识别算法，识别游戏场景中的关键特征数据，如游戏场景中的技能状态、按钮位置、目标物位置等。 提供模仿学习和强化学习AI算法，可直接用于训练游
应用与服务编排工作流 (Application Services Workflow，ASW) 是对腾讯云服务进行可视化编排，组合成工作流模板的应用程序集成类产品。可以更简单、更直观、更快速地构建和更新应用。
自然语言生成是一个AI子学科，可将数据转换为文本，使计算机能够以完美的准确度交流思想。
这款名为Polycam的电动相机机器人支持使用图像识别和人工智能技术来追踪运动员的动作，完全不需要人工摄像师的操作。 近日，据外媒报道，MRMC推出一款名为Polycam的电动相机机器人，其支持使用图像识别和人工智能技术来追踪运动员的动作，将动作时刻保持在画面的中央，完全不需要人工摄像师的操作，也不需要远程控制等其它方式。 据悉，Polycam与其它自动化操作系统的区别在于如何模仿人类操作者的拍摄方式。Polycam并没有使用大范围的广角镜头来进行拍摄，而是通过平移和调整缩放焦距等动态方式来追踪运动员的动作
大家好，前几天的时候写过一篇滴滴和自动驾驶的文章，大家反响很好。有些小伙伴在后台给我留言说让我详细讲讲自动驾驶，倒不是我不想讲，而是确实没干过。好在我虽然没吃过猪肉，但之前听过很多大佬的内部分享，也算是看过猪跑了，就把我了解到的结合一些我自己的思考分享给大家。
笔者最近一直在研究 前端可视化 和 搭建化 的技术, 最近也遇到一个非常有意思的课题, 就是基于设计稿自动提取图片信息, 来智能化出码. 当然本文并不会介绍很多晦涩难懂的技术概念, 我会从几个实际应用场景出发, 介绍如何通过canvas图像识取技术来实现一些有意思的功能. 最后会总结一些对智能化的思考以及对低代码方向的规划, 希望能对各位有所启发.
爱奇艺的广告也不少，翻视频的时候翻到一个游戏。无聊就试着玩玩。airtest就不多介绍了。说的是通过图像识别技术来实现自动化脚本的，编写脚本也基本不需要基础。下面就用来写一个听雪江湖的自动挂机脚本
ASW 简介 应用与服务编排工作流（Application Services Workflow，ASW）是对腾讯云服务进行可视化编排，组合成工作流模板的应用程序集成类产品。可以更简单、更直观、更快速地构建和更新应用。 ASW 可以用拖拽组件的方式来编排分布式任务和服务，工作流会按照设定好的顺序可靠地协调执行，并在必要时支持执行用户定义的重试逻辑，确保任务和服务按照模板定义的步骤顺利完成。 同时，您将无需编写代码，只需用可视化编排的方式快速构建自动化工作流模板，并实例化为任务去执行，或发布为服务接口提供对外
今天准备讲解一下怎么用postman工具去实现RuoYi后台管理系统的验证码获取以及自动登录功能 。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
