在实践中进行用户测试与评估
2019工业信息安全技能大赛个人线上赛第一场圆满收官。在保障竞赛平台成功稳定运行的同时，更多的还是思考竞赛平台在本次支撑过程中的用户体验，用户测试与评估情况。作为专业为工业信息安全打造的人才测评选拔和竞赛平台，实际的竞赛活动就是检验和测试产品最好的试金石，也是用户测试环节的最佳测试环境。
在产品设计与优化过程中，产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具有代表性的任务，观察并记录用户使用产品的整个过程，包括用户使用的顺畅程度和情绪等多个方面。测试过程不是应对用户的不满和要求，而是通过观察用户的行为操作及情绪等方面来把握用户的实际使用情况。用户测试有时也会称为产品可用性测试，可用性测试的定义是“特定用户在特定的使用场景下，为了达到特定的目标而使用某产品时，所感受到的有效性、频率及满意度”。用户测试也作为竞品分析和市场调研的方法，我们会经常性的使用用户测试的方法对其他厂商的产品进行评测，为自身产品的设计提供参考。
对于目前市面上存在的网络安全竞赛平台而言，用户使用情境和目标就是支撑网络安全赛题展示交互与赛题答案提交，并为选手输出可定量和定性的评估结果。满足了这样的前提，我们才能使用有效性、效率及满意度等这些标准来对其进行评价。竞赛平台经过在我们典型的可用性实验室及产品测试团队的可用性测试的基础上，经历了2018工业信息安全技能大赛多个场次的用户使用测试，在产品的可用性上，已经具备了提供网络安全赛题展示交互与赛题答案提交并提供定量和定性评估结果的目标和功能，即产品已经具备了可用性。
在2019工业信息安全技能大赛的支撑上，我们对竞赛平台后续需要的可用性测试目标进行了进一步梳理，即在2019工业信息安全技能大赛过程中，我们的产品团队对竞赛平台的可用性测试的测试目标是什么？也就是我们做可用性测试到底要测那些内容，想知道些什么信息？根据标准的可用性测试方法及流程，一般来讲可用性测试主要分为三大内容：
第一：首先是有效性。是否有效就是说用户是否能达成自己的目标，比如网络安全竞赛，有效性就是用户能够进行赛题交互、提交答案并输出定量和定性结果，如果提交不了答案就是有效性出了问题，那这个竞赛平台就没有存在的价值了。所以有效性问题就是首要的必须要解决的问题。
第二：效率。效率就是用户不用做无用功，能以最快路径达成目标，仍然以网络安全竞赛为例，如果用户在竞赛过程中需要反复操作很多次才能完成任务，那就存着效率问题了，严重的效率问题就是有效性问题。
第三：满意度。满意度是在有效性和效率两方面都没有大问题的情况下，有没有给我们的用户带来不愉悦的体验，这就可能涉及到很多方面很多细节，比如用户注册的时候会不会要求输入过多的信息，或者系统反应及不及时等这种问题，
基于这三个基本要素的标准可用性内容，我们竞赛平台的可用性测试需要在有效性、效率及满意度上继续深挖，以比赛作为契机，竞赛用户选手作为测试评估的主体，它基于真实的用户数据进行评价，相对客观，拥有较强的说服力。用户测试的目的是发现问题，改善我们的设计，挖掘潜在的需求。其测试评估价值巨大：
第一，它能够挖掘潜在的需求。挖掘潜在需求是根本，决定了产品的发展方向；
第二，发现并解决产品存在的问题。发现需要解决的问题，包括界面框架逻辑结构交互等等是否合理，用户体验是否良好；
第三，降低产品周期成本。边做边测试评估，通过快速迭代降低交互设计的周期成本，或者对产品迭代提供良好的参考意见；
第四，增强设计说服力。用户测试可以用鲜活的案例，鲜活的数据等增强设计的说服力。
我们在竞赛结束后以电话调查和采访的方式对选手进行抽样用户测试数据采集，并将采集的测试评估数据记录并进行梳理归纳处理，最终输出我们需要的调查评估数据。在整个过程中，用户测试基本流程需要精心设计。根据经验，我们将用户测试基本流程分为四大部分：
第一：首先需要明确本次测试的目标，然后由用户研究员设计参与者在测试过程中需要完成的任务及测试脚本，由于本次是直接在竞赛过程中对用户进行用户测试，因此本次竞赛选手即为我们需要招募的测试用户。根据年龄段及社会经验作为招募标准和调查对象筛选条件。因为测试中设计什么样的任务和你要描述的用户操作直接相关，确定了前者，后者也就更加明确了。
第二：需要在竞赛选手中筛选用户进行数据采集，我们所邀请的用户必须是目标用户，并且符合本次测试的各项条件。综合目前调查的情况来看，我们筛选了进入场景题的所有用户作为本次调查和数据采集的对象，并根据设计对应的测试调查任务和问题进行电话逐一采访，成功收回所有测试数据。
第三：进行测试，在正常的产品测试中，我们会使用可用性实验室及产品测试团队。在本次测试中，我们直接使用选手的实际使用操作作为测试环境和测试对象，在进行测试中我们需要观察和记录参与者执行任务的情况。在电话采访中，一般我们以抛出问题为主，少做建议，在用户不知所措的时候适当地提问或者帮助加以引导。
第四：分析与报告，电话采访结束后，需要对采集的数据进行记录并进行预处理，仔细重读每个参与者的测试记录，挖掘其中的可用性问题，列出所有的问题并分类整理，判断问题的严重性，整理成为可阅读性的测试报告。
测试报告罗列出采集的问题，还不能直接用于产品的改善任务和优化条目，我们还得继续分析问题以梳理更多细节：比如如何判断测试用户对某一问题是理性还是感性的？这就又回到了我们设计测试任务的初衷及内容层面上，针对这一问题的判断还需要我们就任务内容本身着手，并就任务内容本身寻找答案。除了答案本身的理性与感性判断，我们还需对任务内容本身的采集数据进行定量和定性评估，定量评估是对可以计量的部分进行评价，如点击量，使用率等，完全可以用数据来说明。定性评估是指对非计量的部分进行评价，如流畅度、舒适性、创造性等进行评价，它只能表示一个度，无法准确用数据来说明问题。根据采集的问题的价值判断及定量定性评估分析，我们就能筛选出比较关切的可用性问题并针对性的罗列计划进行逐一解决。
本次用户测试调查帮助我们找出了一些问题，有益于产品的优化改进。在有效性方面，测试用户均表达了对V**接入场景的网络稳定性的担忧、V**客户端下载速度受限于选手本身网络速度等问题。由于是第一次采取线上赛场景题接入模式，在调查反馈中，测试用户表示下载V**客户端花费了较长时间，在争分夺秒是赛场上，网络不好的一方将会受限于网络下载而拖慢进入场景的速度，影响与赛题的交互和答案的提交。从产品的可用性角度看，这是一个严重的有效性问题，将会在后续的几个场次中优先解决该问题。其次，测试用户均表达对V**网络的稳定性问题的担忧等重大有效性问题。
在效率方面，测试用户希望在赛题答案示例、攻击目标IP直接提供等方面提供操作效率。由于赛题答案格式不统一，均希望在提高答题效率方面，针对每个赛题能够提供赛题的答案示例，以提升选手寻找答案及拼接答案的操作效率，减少重复的尝试及时间浪费。此外，由于攻击目标确定，测试用户希望能够直接提供攻击目标IP地址，减少不必要的网络扫描，因为所有选手的网络扫描会严重占用大量带宽资源，造成网络在接入阶段的阻塞和卡顿。
还有其他各种细节的小问题记录也会帮助我们改善后续的产品用户体验。综合来看，竞赛平台在实践中进行用户测试和评估，能够最大程度的帮助我们改善产品、优化体验，发现并解决产品存在的问题。