远程移动测试平台对比分析

随着移动设备和系统的碎片化程度越来越高以及复杂的移动网络情况, 兼容性测试以及远程真机测试的重要性越来越突出。根据远程测试机/人员与开发者间的合作方式,可以分为以下几种服务:云测试服务、内测服务以及众测服务,相应的平台支持如下图。

云测试平台

云测试平台提供了远程租用真机的服务,通常是利用自动化框架来实现真机上的脚本自动化运行,或远程租用真机人工测试,或真人真机测试。由于Android端设备的种类众多,云测试服务在Android端应用广泛。国内外都提供了多种云测试平台。

1. Pefecto http://PerfectoMobile.com

Pefecto将真实移动设备放到 cloud 端 , 并提供通过web/Eclipse 插件的形式进行访问与测试。同时,Pefecto 开放了基于 selenium 的第三方 API:MobileDriver,支持自动化测试人员通过 Eclipse 访问 Perfecto 上的真机设备,通过 MobileDriver 远程识别与调用被测应用,快速实现自动化,并与 RQM 结合实现对 devops 的支持。测试脚本可以跨平台(Android/iOS/Blackberry...)执行。

2. LessPainful http://lesspainful.com/

LessPainful提供了一个多设备平台自动化测试的服务。用户上传应用(*.apk)和用Cucumber编写的测试文件,选择测试运行需要的设备配置,最后测试将自动执行并生成测试报告。它支持的设备包括Garmin Asus,几款HTC,LG,Samsung Galaxy,Sony Xperia和Motorola Motodefy

3. TestDroid http://testdroid.com/

Testdroid 是由 Bitbar 公司推出的手机应用测试的云端服务。TestDroid云端提供了 200 多种机型,你可以选择你需要的测试机型进行适配测试。 通过 Testdriod 的测试,还能收集 CPU 运转以及内存使用情况,从而帮助工程师们提高应用的表现性能,和以防内存被过多占用。此外,用户还可以选择测试机型的语言测试环境,避免由于跨语言导致的潜在漏洞。Testdriod 还有一项 app 爬虫功能,类似于网页爬虫,对你的应用高频次地查看并同时进行图像输出,来模拟真实的浏览过程。TestDroid应用了Robotium /MonkeyRunner生成系列工具,但需要有被测应用的源代码。

4. Testin http://www.testin.cn/

Testin云测试平台是一个基于真实终端设备环境,基于自动化测试技术的7x24云端服务.Testin在云端部署了300多款1000多部测试终端,并开放这些智能终端给全球移动开发者进行测试,开发者只需在Testin平台提交自己的App应用,选择需要测试的网络、机型,便可进行在线的自动化测试,无须人工干预,自动输出含错误、报警等测试日志、UI截图、内存/CPU/启动时间等在内的标准测试报告。支持Android与iOS,业务较为全面。

5. 百度MTC http://mtc.baidu.com/

MTC是百度云面向移动和web开发者提供的服务,能够满足一般的测试需求,包括当前的热门机型,还支持云端客户端回放。它还提供一个云众测服务,就是开放者上传App,百度提供给用户下载测试,然后将反馈收集返回给开发者

6. 腾讯优测 http://utest.qq.com/

腾讯优测试专业化的移动云测试平台,为广大开发者提供移动应用一站式测试服务与解决方案。提供缺陷分析、应用测试、云手机等主要功能,用户通过平台上传安装包,就可进行全面的兼容性和性能测试,还并可以在线使用多台云端真机,满足更多开发和测试需要。腾讯优测真机实验室目前已配备上千款手机,覆盖市面98%主流机型,7*24小时在线运行,覆盖亿级用户。构建的数万个适配问题特征库,可以快速准确定位问题。

7. 阿里MQC https://mqc.aliyun.com/

MQC是阿里移动质量中心推出的真机测试服务的云平台,拥有大量热门机型,提供7x24全天候服务。MQC可以涵盖Android、iOS、YunOS、H5等不同的平台体系,主要服务阿里系和阿里内部如手淘、天猫、聚划算、支付宝等App。

8. 易测云 http://www.yiceyun.com/

易测云由国内知名软件公司东软出品,是一个专业为移动APP产品提供适配测试、性能测试、遍历测试、功能测试等多种服务的真机自动化云测试平台,主要为所有移动APP产品的开发者和测试者、以及需要定制化服务的企业级用户,提供安全、专业、高效、易用的自动化云测试服务;强大的录制脚本插件;详细实用的测试报告;以及简单人性化的操作体验。

关于云测试平台对比分析的文章已经很多,这里不作赘述。

众测平台

众测的目的是利用大众的测试能力和测试资源,在短时间内完成大工作量的产品体验,第一时间将体验结果反馈至平台,再由平台管理人员将信息搜集,交给开发人员;同时是从最前端用户拿到的第一手信息,就能从用户角度出发,改善产品质量。

1. uTest https://www.utest.com

uTest是一家来自以色列的创业公司,该公司主要的业务是通过自己构建的一个全球测试员网络为开发人员和技术公司提供软件测试以帮助这些开发人员更好的找到并解决软件中的问题。拥有来自200多个地域国家超过15万专业测试人员。根据测试人员数量的不同,收费也各异,最低 499 美元,最高可达 1999 美元。uTest提供了uTest课堂提供了专业软件测试者授权课程的学习使用方法,还提供了工具平台供测试人员提交测试工具或对已有工具评分。总之,uTest给专业测试人员提供了一个社区的氛围。很多大公司都在使用 uTest 的服务,包括谷歌、微软、Groupon、AOL 和 BBC 等。要想参与uTest测试任务,需要注册并提供详细的测试环境,比如测试机型、测试工作经验、软硬件环境等信息,便于uTest高效分配任务。

2. 腾讯tesly http://tesly.qq.com/

腾讯众测是腾讯公司开发的一款基于众包概念的平台。支持应用、游戏、H5混合应用等

多种产品形态,具有Bug探索、产品调研、数据收集和产品评测四种业务模式。

3. 百度众测 http://test.baidu.com.cn/crowdtest

百度众测也是众包模式的典型应用,它将企业产品的相关测试工作交由网络社区大众来完成。百度众测是百度公司开发的众包在软件和产品测试上面的延伸。百度众测“隶属”百度质量部,是一个使广大的互联网用户能够第一时间体验到百度的新产品,从用户体验的角度出发,对百度的新产品提出改进建议,以及各种bug反馈,以便于百度公司及时地改善产品质量。目前,百度众测包括“外部用户测试平台”,“内部员工测试平台”和“开发者平台云众测”。 注册用户达到1500万。

4. testin http://zc.testin.cn/ http://www.mtestin.com/

为开发者提供一种完全开箱即用、按需付费的SaaS服务,不仅提供了测试规划、功能测试、兼容性测试、可用性测试、Beta测试等测试服务,开发者还可以直接使用Testin众测平台的Bug管理、用例管理、项目管理、崩溃监控等在线工具,帮助中小开发者无需招聘专业的测试团队也可以轻松将应用质量管理好。

5. 乌云众测 http://ce.wooyun.org/

乌云众测是另一种众测类型,是在专业性很强的领域——安全领域深入的一种众测模式,它对众测人员的专业性要求很高,俗称“白帽子”。在乌云众测,企业可在短时间内组建虚拟的安全团队,通过邀请顶尖白帽子模拟黑客对网站、系统或产品进行测试,企业可迅速排查各种安全隐患。同类型的众测公司还有漏洞盒子、Sobug白帽众测,他们是目前国内最大的三家安全众测平台。

众测平台总结:

众测平台可以分为三种类型, 一种是大众任务型, 主要利用数量来收集数据或模拟特殊情境,如不同网络环境等, 百度众测和腾讯bugly都属于这一类; 第二类是以具有专业知识的测试人员来定向完成任务的模式, 这类的代表是国外的uTest和国内的Testin; 第三类是应用于对测试人员专业度要求更高的某类业务---目前主要是安全业务--- 的模式, 著名的乌云众测、漏洞盒子、Sobug白帽众测就是利用白帽子的“攻”的水平来实现“防”的目的的。

众测平台

uTest

百度众测

腾讯tesly

Testin

乌云众测

注册用户数

15万+ (全球)专业测试人员

1500万

10万+

10万+ 专业测试人员

白帽子16731

主要服务

应用的功能安全性;本地化

产品体验与用户问卷;数据标注;数据采集;自动化监控

Bug探索产品调研数据收集产品评测

Bug探索;专家定制测试方案

顶级白帽子提供的专业安全漏洞检测

易用性

方便快捷

向导明晰,但登录不够便捷

QQ登录,便捷

一些功能还处于开发中,不够完善

接入流程清晰

支持平台

iOS、Android、BlackBerry、WP7 和 Symbian

Android, IOS, PC

Android, IOS,PC

AndroidIOS

IOSAndroidWindowsOSX

沟通便捷性

不便捷,尤其对于国内测试人员

不便捷,只能邮件向管理员咨询

可通过QQ联系测试人员

消息通知,邮件联系

白帽子QQ,便捷

奖金结算

U点,可兑换现金。

赚礼券,可兑换现金或礼品

Q币

按项目直接支付佣金

安全币(可1:4转人民币)

内测平台

内测平台允许开发者选择合适的测试人员,并允许其与测试人员进行沟通。IOS应用分发多采用这种方式,以苹果收购的TestFlight为代表。这种模式操作起来稍微繁琐,如果是iOS应用的话需要制作特殊的内测版本,获取内测设备的UDID并制作证书,并且有100人的人数限制。

1. TestFlight https://developer.apple.com/testflight/

TestFlight提供了iOS App测试分发服务,它主要解决的是iOS应用测试分发困难问题,可向指定的人分发应用,双方需要注册TestFlight账号,以及下载TestFlight App,即可在App里测试应用。TestFlight已被苹果收购,因此其UDID证书限制人数可达到1000人。

2. HockeyApp https://www.hockeyapp.net

HockeyApp是以TestFlight的替代者的身份出现的,其集成了TestFlight的所有优点,同时增加了自己的一些亮点功能,比如支持更多的平台,服务稳定性也比TestFlight高,并且能够通过SDK方式帮助开发者获取必要的测试信息。HockeyApp被微软收购,是收费应用。

3. Fir.im http://fir.im/

Fir.im 全名 Fly It Remotely ,是一个为移动开发者服务,针对应用开发内测阶段,提供应用托管分发,崩溃分析以及反馈收集等一系列帮助开发者提高开发测试效率服务的平台。它提供了开放API,开发者可以将fir.im 集成到开发流程中。此外,fir.im 还提供了指令工具CLI, 日志查看工具LogGuru、崩溃分析工具BugHD和网速测试等工具。Android端还提供了AndroidStudio插件,方便Android开发者上传应用。

4. 蒲公英 https://www.pgyer.com/

蒲公英也提供了面向IOS 和Android平台的内测托管和任务分发服务,同样提供开放API。 它提供了移动端SDK用于应用内测数据收集分析、版本更形提示、数据分析统计等多种功能。除此之外,它还提供了专家测试的选项,提供人工遍历测试,IOS审核加速等服务。并且,蒲公英提供了测试管理的平台,使得开发者在单平台上做到收集内测用户问题并得到问题分析。

5. Bugly http://bugly.qq.com/

Bugly 是腾讯对外开放使用的移动应用崩溃检测服务,同时支持 iOS 和 Android 平台。移动开发者在自己的 App 中接入 Bugly 的 SDK 后,就能在应用崩溃后获得信息上报。目前还推出了内测分发服务,但还没有提供收集用户测试结果的方法。

内测平台总结:

国内的内测平台都还属于起步阶段,更多应用场景在于帮助IOS应用快速发布。

TestFlight

HockeyApp

Fir.im

蒲公英

Bugly

支持平台

IOSOSX

IOS, Android,Windows,OSX

IOSAndroid

IOSAndroidWindowsOSX

IOS,Android

可选择测试人员

Features

Crash报告;用户行为上报;设备信息上报。

Beta版本应用分发;Crash上报;用户数据统计。

用户快速获取UDID;日志上报;应用更新通知;下载速度监控。

Crash报告分析;应用数据统计;用户反馈;版本更新。

应用分发;安全扫描。

易用性

可直接发布到APP store, 也可经过Testflight内测后发布。

Demo皆为英文,对国内用户不够友好

简洁,为开发者提供了CLI方式

提供了“摇一摇”反馈问题的方式

易用,通过微信/QQ直接下载应用

问题上报方式

通过TestFlight App

通过HockeyApp

通过Fir.im 反馈模块

通过集成SDK

暂未提供。

提供API集成

是,SDK方式

免费

远程移动测试平台正在向综合云测、众测、内测甚至远程数据收集工具的方向发展,比如国内领先的Testin平台,在云测、众测攻占城池之后,也推出了内测平台(https://pre.im/);蒲公英平台则在内测的基础之上,将bug管理融入平台。

原文发布于微信公众号 - 腾讯移动品质中心TMQ(gh_2052d3e8c27d)

原文发表时间:2016-08-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鹅厂网事

软硬件分离趋势及开放网络发展

1. 前言 一直以来,网络设备给人的感觉就一个或大或小的铁盒子,其貌不扬,让人猜不透里面到底是啥。而这种情况将有所改观,在OCP等开放组织、众多芯片商、ODM商...

36570
来自专栏双十二技术哥

Android性能优化(十二)之我为什么写性能优化

从1月10号第一篇文章开始,到现在过去了4个月又20天,陆续写下了性能优化系列文章共计十二篇,大概一个月三篇的节奏。本篇文章是性能系列文章的最后一篇,没有新的大...

13320
来自专栏Java面试通关手册

小故事详解负载均衡技术的实现:从tomcat到Nginx

负载均衡是任何一个有一定规模的互联网企业都会考虑的问题,负载方式很多,有依靠硬件实现的,也有依靠软件实现负载的。

14110
来自专栏云计算D1net

云计算服务提供商不能会告诉你的秘密

云计算具有成本、资源扩展、弹性大等优势,但任何事物犹如硬币具有两面性,云计算也有一些你必须知道的劣势,服务提供商是想要把你所在他们的产品上,但并没有强迫你维持忠...

37030
来自专栏IMWeb前端团队

Crosswalk携手深度操作系统发布15版本

? 深度操作系统是由英特尔开源技术中心创建的一个基于Blink/Chromium内核的开源HTML 5引擎,通过全方位的创新和优化提升HTML 5的体...

23590
来自专栏Sign

平行世界生成器

上次发了篇dolo的最新进度,大意就是『DOLO的核心玩法我又又又改了,下次应该不会再改了……』发完后看了眼,发现碎碎念太多了,所以就删了。 这次没啥可发的,就...

38560
来自专栏ATYUN订阅号

【科技】Google利用机器学习推出了AdSense“自动广告”,以进行投放和获利选择

Google于21日公布了一项新的AdSense广告单元, 该广告单元反映了该公司在其业务中添加更多人工智能的巨大推动力,并且可能会吸引更多可能考虑加大广告投放...

38370
来自专栏容器云生态

我怀疑遇到了假的CMDB

每次读到配置管理相关的书籍时,我总在想:“这些定义很精准,流程也很残缺,但这不是真正的难题。”对于一个配置管理者来说,真正的难题不是绘制“庞大而精美”的数据...

4.7K90
来自专栏微信公众号:Java团长

你的简历能帮你争取到面试机会吗?

最近我在帮朋友的公司招人,招人的第一步是要筛选简历,在这过程中,我发现虽然能收到很多简历,但实际能通过筛选能进入到技术面试流程的简历不多,估计10份里不...

19220
来自专栏SDNLAB

浅谈融合SD-RTN ——毫秒级网络加速的技术变革

60460

扫码关注云+社区

领取腾讯云代金券