刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具，于是便应用于测试工作中，辅助测试任务。初步试用下来，总体效果还算差强人意，也间接助我发现了一个致命级别的大bug（后续会介绍）。...一、GUI图像识别框架元祖：Sikuli Sikuli 创始于 2009 年，是麻省理工学院用户界面设计小组的一个开源研究项目。...由于 Sikuli 基于 Jython，其核心代码由 Java 编写，可在用户自定义的 Java 工程中将其作为 Java 标准类库进行 定位APP窗口：myApp.window() 聚焦到当前APP：...； Sikuli 使用小结 尽管sikuli用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实。...； ③ 在不同的PC系统版本上运行，以检测程序的兼容性； 对于web自动化、APP自动化主要用该端特定的自动化框架，如selenium、appium，sikuli作为辅助、可以和selenium
sikuli 自动打开浏览器查天气效果演示： 这是我提前准备好的截图，会根据截图识别到对应的控件并操作。...sikuli 官方 2.1.0 版本 jar 包获取： 小蓝枣的 csdn 资源仓库 import org.sikuli.script.FindFailed; import org.sikuli.script.Screen...s.setAutoWaitTimeout(10); // 定义图片存放路径 String path = "C:\\Users\\Administrator\\Desktop\\sikuli
也许Sikuli可以成为你的选择之一，它可以让你摆脱对控件API的依赖，通过实时检索当前屏幕的图像，获取可操作对象，模拟用户行为，校验真实的屏幕展示结果。 什么是Sikuli？...Sikuli自动化测试，是将屏幕上展示的内容，通过图像识别，用来定位到元素的位置，并进行操作GUI组件，最后也可以通过识别图片中的内容来判断操作是否成功。...总结 Sikuli的优点是简单容易上手，支持多种编程语言（python/java），但是缺点也很明显。...图片的分辨率色彩和尺寸等对程序执行结果影响很大，一台设备上执行成功的脚本可能一直到另一台设备上不能成功，需要重新截图。...而且只能检测当前桌面上显示的内容，后台进程无法操作，pc端的所有用户操作并没有完全支持，sikuli本身还不完善，还在开发升级阶段。
不过如果你问问最先进的人工智能，它给出的答案会是校车，而且 99% 地肯定。但 AI 错了。 诚然，现在的计算机图像识别技术已经非常先进。...用进化算法欺骗AI 进化算法生成的随机图像，图像下方的文字是AI识别出来的对象。 要想弄清楚这些自我训练的算法的聪明之处，方法之一正是看看它们的愚蠢之处。...这样下来的结果就是最好看者生存—或者说，是计算机最能识别的的图像存活了下来（而非最合适者—原图）。 最后该技术生成了数十幅神经网络的确信度超过 99% 的图像。...采用一种略微不同的进化技术之后，研究人员生成了另一组图像（下图）。这些图像在人眼看来几乎都是一样的，就像是一台坏掉的电视上的图像。...当然，人类精心制作这些图像来愚弄 AI 也说明了一个问题，即神经网络的规模和复杂性已经超出人类的理解范畴—哪怕我们知道 AI 能识别图像，但对它们如何识别图像却并不知晓。
在具体讲解之前，先介绍一下图像识别在测试中能够想到的引用场景： 测试过程中，通过对待测软件进行屏幕截图，采用图像识别算法识别截图中是否包含预定义的可操作控件，如果存在，则触发控制指令，也就达到了图像识别引导测试过程的目的...- 测试结果的验证，通过对待测软件的界面进行截图操作，利用图像识别技术将截图与期望的结果进行匹配，从而自动获取测试结果。- 通过图像识别对比来进行性能测试，比如app测试中常见的响应时间的测试。...一、原理 Sikuli脚本是由jython通过图像识别的方式来模拟键盘和鼠标事件，从而实现ui层面的自动化测试。...Sikuli脚本的核心是一个java库 ,主要由两部分组成（见上图）： java.awt.Robot部分主要是将键盘和鼠标事件传送给指定的位置，具体的位置是由c++引擎（基于opencv模块）通过脚本中的目标图片去屏幕上搜索并定位...5、可以识别类似flash这样不能通过识别控件来进行自动化测试的项目。 缺点： 1、屏幕不能有遮挡，因为sikuli需要在当前桌面识别对应的目标并进行操作，如果桌面有遮挡就会导致对应的元素找不到。
Tesseract-OCR支持中文识别，并且开源和提供全套的训练工具，是快速低成本开发的首选。...前面记录过在java中调用tesseract-orc，该方法的原理是通过在java中调用cmd命令行，来执行tesseract，但是该方式需要下载软件，在电脑上安装环境，移植性不高。...而Tess4J则是Tesseract在Java PC上的应用。如果使用Tess4J只需要下载相关Jar包，导入项目，再把项目封装好就可以处处运行了，可移植性比较好。...这篇博客简单记录一下在java中通过调用tess4j的方式识别图片的文字内容。...：https://github.com/tesseract-ocr/tessdata 下载完的tess4j资源包目录如下： （2）新建一个java工程： 使用Build Path -> configure
但是，在大多数应用程序中使用的都是非标准的控件，无法通过FindWindowEx来找到某个按钮，也无法通过某个ID来找到某个输入框。...根源是是因为 sikuli 是基于图片像素级对比的，而在实践中，像素级对比往往存在很多缺陷，图片文件必须与屏幕上的呈现完全一致才能匹配上，实践中必须手动调低匹配度才能匹配到元素，但又不能太低，太低则会匹配多个元素...几种像素级匹配不适用的场景： 图像稍有缩放，无法匹配 图像稍有变形，无法匹配 图像有细微改动，匹配率降低 图2：Sikuli 手动调节匹配度 另外，虽然 sikuli 虽然是开源项目，但由于对 Java...二、 模板匹配 模板匹配（matchTemplate）是一种最具代表性的图像识别方法。...在一群牛中找到了一只羊的"最佳匹配" 三、 特征识别 人眼在识别物体时，会根据图像的局部特征来判断整体，比如图像的边缘轮廓、角、斑点等等。
本文主要介绍一些2021年新发表的多标签图像识别工作，多标签图像识别早些时候的研究工作可以看另一篇文章 雨雪霏霏：多标签图像识别发展历程（2015~2020）2 赞同 · 2 评论文章 ?...另外笔者也维护了一个多标签图像识别的paper list ，持续跟踪多标签图像识别相关方向上的研究工作，方便初涉该领域的同学快速上手，也欢迎大家一起讨论交流。...之前基于transformer的识别工作往往因为无法找到合适的query，只利用transformer中的Encoder结构做特征的长距离空间关系增强。...从网络结构中可以看出，本文以可学习的label embeddings作为query，以图像特征作为key和value，通过cross-attention计算对应标签的预测概率。...文章思路清晰，结构简洁，也为多标签识别提供了新的解决思路。详情可见文章作者在知乎上的回答 知乎 MCAR ?
1、视频监控 上次博主在 imx6ull 板子上做了韦东山老师的视频监控项目，并且写了两篇文章，如下： 手把手教你视频监控之 MJPG-Streamer 方案 视频监控之 ffmpeg + nginx...imx6ull 从 USB 摄像头采集数据，编码后放到 nginx 服务器，拉流端再拉流，需要 40 秒，RK3399只需要 8 秒，因此 RK3399 的视频编解码能力是 imx6ull 的五倍！...2、图像识别和目标检测 图像分类：http://mpvideo.qpic.cn/0bc3xaabeaaa7eahqli3f5rfbogdck4aaeqa.f10002.mp4?...1649406581&vid=wxv_2287951457809317901&format_id=10002&support_redirect=0&mmversion=false 这是 TensorFlow 的轻型框架...这是TensorFlowLite 在Android 系统的 demo app，源码开放，直接下载编译就可以用。 https://tensorflow.google.cn/lite/examples?
调研结果 Sikuli可用于web和app的自动化测试中，操作简单，代码容易，但截图过程太过繁琐，所需要的图片内存占用量大，且sikuli的图片识别度较低，需对所要操作的图片进行精准截图。...Sikuli IDE执行脚本时，通过Python解析器和java库的桥梁，核心部分解析是通过java库实现的分两个部分，java.awt.Robot用来传递键盘和鼠标的事件流到适当位置；给予OpenCV...，因为图片的识别会因为分辨率、背景颜色，图片大小的变化而变化； ü Selenium运行起来较为缓慢，而sikuli代码运行起来能很快识别出要点击和添加的内容； ü Selenium中有很多元素无法获得...)； ü 在有上传文件、图片等操作的自动化测试中，用sikuli的图片识别技术更为方便； ü 用sikuli来编写代码时，所截到的图片应该避免雷同，且尽量缩小范围，便于执行点击、填写等操作时，由于范围过大而定位错误...2、图片的分辨率、色彩、尺寸、唯一性对程序的影响 (如果有两个相同的，无法区分具体哪一个) 3、sikuli本身还不完善(处于开发、升级阶段) 还有很多程序bug,能否继续发展还是未知数 4、只认识当前活动的图标
在DL+图像场景识别的程序中，其输入大多需要PIL的图像格式，而flask上传的图像的格式如何转化为PIL的图像格式，这是碰到的问题之一，因此即时将之记录下来，虽然解决方法很简单。...错误解决办法一： image = Image.open(request.files["fullimage"]) 出现错误，还是无法识别图像 错误解决办法二： image = Image.open(...正确解决办法： img = Image.open(request.files['file'].stream) 定位到文件打开的代码，才发现输入可以是stream. def open(fp, mode="
自动化过程中对于Windows弹出框，一般使用AutoIT制作脚本进行操作， 之前写过章介绍，可以复习一下： Java+Selenium2+AutoIt实现右键文件另存为功能 上传也是同样的方法，使用AutoIt...Sikuli 上帝之眼的意思。...http://www.sikulix.com/ 这里介绍一下另外一种解决方案：使用Sikuli进行图片识别，来对Windows弹出框或者其他Windows窗口进行一系列的操作。...还可以用作一些其他的图片识别的自动化测试，但是Sikuli对分辨率有一定的要求，基于像素识别，所以指定要找的目标图片很少变动时就可以使用Sikuli，像上面例子中上传文件文本输入框和Open按钮变动就基本不变...；但是对于多变动的目标图片还是不适合使用Sikuli，因为变动一次就需要重新截图，对于多变的情况下 使用AutoIT或者其他工具会更胜一筹。
说到语音识别、语音翻译、图像识别、人脸识别等等，现在已经非常非常非常普及了，看过‘最强大脑’的朋友，也应该对‘小度’这个机器人有所了解，战胜国际顶尖的‘大脑’- 水哥，(PS：内幕不知)，那么今天，我们来看下关于图像识别...，是如何做到的，Java又是如何识别图像的？...图像识别技术是人工智能的一个重要领域。为了编制模拟人类图像识别活动的计算机程序，人们提出了不同的图像识别模型。例如模板匹配模型。...这种模型认为，识别某个图像，必须在过去的经验中有这个图像的记忆模式，又叫模板。当前的刺激如果能与大脑中的模板相匹配，这个图像也就被识别了。...JAVA图像识别示例 Java图像识别示例： 需求：java实现图像识别--车牌识别 技术：Java、jdk1.8、maven、tess4j、IDEA2018 1：新建maven project工程
是否还记得里面的各种神奇宝贝，以及小智手中可以自动识别神奇宝贝的图鉴（Pokedex）？本文的作者带你利用计算机视觉技术，在手机中构建了一个一模一样的应用程序。...下一篇，我将演示如何进行实现，使用Keras训练CNN来识别每个神奇宝贝。 最后，我们将使用我们训练好的Keras模型将其嵌入到iPhone应用程序中。...如何快速构建深度学习图像数据集 为了构建我们的深度学习图像数据集，我们需要利用微软的Bing图像搜索API，这是微软认知服务的一部分，用于将AI的视觉识别、语音识别，文本识别等内容带入应用程序。...安装REQUESTS包 如果系统上未安装requests，则可以通过pip进行安装： pip install requests requests包使用户能够无比轻松为我们做出的HTTP请求，它使我们不必花精力处理与...250张图片中的大部分都会成功下载，但是如上面的输出所示，也会有一些OpenCV无法打开的被删除。
写在前面 上个星期分享了《基于Sikuli GUI图像识别框架的PC客户端自动化测试实践》，但sikuli看起来怎么都像是上个世纪的界面风格，且功能过于简陋。...而同样基于图像识别框架的Airtest，则无疑强大了许多，本次分享的内容是基于Airtest实现Windows应用的自动化测试，内容大纲： Airtest框架介绍：Airtest适用项目、Airtest...编写测试代码 设计测试用例 运行效果 查看测试报告 总结与思考 一、Airtest框架介绍 1.Airtest介绍 Airtest是网易出品的一款基于图像识别和Poco控件识别的一款UI自动化测试工具...这个框架设计来源于新颖的图形脚本语言Sikuli，关于Sikuli框架可见上一篇分享《基于Sikuli GUI图像识别框架的PC客户端自动化测试实践》。...：是一个跨平台的、基于图像识别的UI自动化测试框架，适用于游戏和App，支持平台有Windows、 Android和iOS； Poco：是一款基于UI控件识别的自动化测试框架，目前支持Unity3D/cocos2dx
简介 SikuliX，号称上帝之眼，可以通过 OpenCV 图像识别技术，来定位图像和键盘、鼠标来操作GUI（图形化用户界面），实现桌面类应用自动化。...它可以使用图片来作为脚本的识别点/触发点，来进行操作，这算得上一种非常神器的方案! 目前支持系统包括 Windows、Mac 和一些 Linux/Unix。...SikuliX 原名是 Sikuli，现在改名为 SikuliX，可能是因为旧作者停止维护了，由新团队来维护。...下载安装 1、安装java环境 SikuliX 的 IDE 程序是用 java 写的，首先需要安装 java 环境。...2、安装SikuliX 前往 https://launchpad.net/sikuli/+download 下载对应的 jar 安装包，目前最新稳定版本是2.0.5。
Tesseract 4添加了一个新的基于LSTM的OCR引擎，该引擎专注于行识别，但仍支持Tesseract 3的传统Tesseract OCR引擎，该引擎通过识别字符模式进行工作。...它还需要训练有素的数据文件来支持旧式引擎，例如tessdata存储库中的文件。 Tess4J：Tesseract OCR API的 Java JNA包装器。...3、编写代码 // 识别图片的路径（修改为自己的图片路径） String path = "D:\\test.jpg"; // 语言库位置（修改为跟自己语言库文件夹的路径...也可在程序中指定： 参考： http://blog.csdn.net/hellousb2010/article/details/39477859 3.尽量指定图像的一块区域识别。...比如验证码起始位置和结束位置很多空白的，可以去掉，只对验证码区域做识别。
一、创建平台应用 先登录百度开放平台 [在这里插入图片描述] 然后进入管理控制台找到图像识别 [在这里插入图片描述] 点击进入。...[在这里插入图片描述] 注意看下图标注的信息 [在这里插入图片描述] 由于图像识别没有直接的Android SDK，因此本文将通过API访问进行图像的识别。...服务 return retrofit.create(serviceClass); } } 很简单的代码，也都是网络上常见的，OkHttp + Retrofit。...这里面的默认地址 https://aip.baidubce.com是图像识别API的固定地址，后面的有变化的，通过接口来配置。...四、添加请求API接口 百度的图像识别，首先要完成鉴权认证，拿到一个Token，然后通过这个Token再去请求图像识别的API接口才行，所以要完成两步操作。
Android File Transfer是一款强大的安卓设备传输工具，操作简单，使用方便，只需要在连接手机前运行 Android File Transfer ，再连接手机，那么 Mac 就会识别出 Android...图片功能只需要在连接手机前运行 Android File Transfer ，再连接手机，那么 Mac 就会识别出 Android 设备，并可以对里面的文件进行复制、粘贴、删除等管理。
随着对基于深度学习的图像识别算法的大量研究与应用，我们倾向于将各种各样的算法组合起来快速进行图片识别和标注。...优化后的算法在内存的使用和模型训练上表现越来越好，但当这些算法应用于模糊的、意义不确定的图像时，它们的表现又会如何呢?...为了更好地了解各个卷积神经网络算法在应用层面上的细微差别和趋势，我们将其应用到罗夏墨迹测试（Rorschach Test）上。...对于这些复杂图像的识别就比较难以理解了，比如第10张卡片竟被认为是托盘。...，以便快速地组合每个图像的分数: def getLabels(model, dims, pi, dp): """ Returns the top 10 labels, given a model, image
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
