云测自动化测试

更新时间:2023-03-17 06:19:57下载pdf

本文介绍云测 App 的自动化测试。云测 App 提供基础测试、深度测试、回归测试三种模式,适用于设备在上传测试报告之前使用。完善的设备测试能保证良好的用户体验,因此是产品开发必不可少的一个环节。

准备工作

  • 确保设备已经成功配网。

  • 下载涂鸦 云测 App,并注册账号。

    云测 App 账号和 IoT 平台账号、智能生活 App 账号等涂鸦账号属于不同账号体系。

  • 按照示意图搭建测试环境:

    云测自动化测试

条件要求

  • 本测试服务在您完成样品开发后,且固件测试通过的情况下进行。
    • 免开发方案通过后台算法自动生成执行用例,对于基础用例,您可以一键自动化执行。
    • 深度测试需要人工参与,对用例进行逐项测试,并确认设备状态。注意根据 App 提示操作。
  • 功能复杂设备的测试时间最少 4 小时,因此请确保手机电量充足,不息屏。
  • 尽量选择干扰小的测试环境,测试期间确保设备不受其他控制干扰。
  • 蓝牙和 Zigbee 设备需要配置网关。
  • Android 手机版本需升级到 5.0 及以上。

测试范围

针对不同测试模式,您可以参考以下说明:

  • 基础测试目前只能保障涂鸦模组和云端通讯功能正常,不适用于整机测试。

  • 整机测试报告需要完成深度测试才算有效。

  • 测试报告中的用例全部显示为通过,才算成功测试。

    如果您对测试结果有疑问,可及时反馈到对应客户经理或者平台,等待处理。

方式一:基础测试

云测 App 提供自动测试模式,用于快速排查设备基本功能流程的问题。自动测试模式仅执行基础用例的测试,更适用于设备初期调试阶段。完成测试后,可以预览测试报告。

  1. 登录涂鸦云测 App 后,添加测试设备。

    1. 点按 添加设备

      云测自动化测试
    2. 选择 自动化实验室
      云测自动化测试

    3. 选择待测设备。
      云测自动化测试

  2. 选择 基础测试
    云测自动化测试

  3. 确认测试用例符合要求后,开始进行测试。

    1. (可选)点按用例后面的播放按钮进入该用例的视频教学。
      云测自动化测试

    2. 点按 开始测试

    3. (可选)开始测试后,可以切换屏幕模式。
      云测自动化测试 云测自动化测试

    4. 等待测试完成,通常您只需要关注测试结果,测试过程中出现的失败会记录在生成的测试报告中。

      基础测试完成后,可以根据界面指引直接进行深度测试。

      云测自动化测试
  4. App 获取测试结果和异常信息后,会自动生成一份简要报告。
    此时您可以点按 完成 来结束基础测试,或查看报告。
    云测自动化测试

    您还可以将报告上传到涂鸦 IoT 开发平台,后续可以在平台上看到详细的测试信息和测试结果。

    详细介绍,请参考 如何在平台查看测试结果

    云测自动化测试
  5. 错误信息处理。

    简单的错误可以通过 帮助中心 的 FAQ 进行排查,复杂问题可以反馈到对应客户经理或者平台,等待处理。

方式二:深度测试

云测 App 提供手动测试模式,您可以更清晰的看到设备状态变化和 App 功能状态变化情况。相对基础测试,深度测试测试更加全面,覆盖面更广,根据测试用例说明,依次完成自助测试,完成测试后,可以预览测试报告。

  1. 参考上文 基础测试 的步骤 1 到 步骤 3,选择 深度测试 开始进行测试。

  2. 选择所需用例集,默认全选,P0 和 P1 等级不可选,P2 和 P3 按需选择。

    云测自动化测试
  3. 手动执行测试,逐条确认测试结果后再进行下一步骤的测试。您需要深度参与测试,并在实际测试结果基础上进行确认。
    云测自动化测试 云测自动化测试 云测自动化测试 云测自动化测试

  4. App 获取测试结果和异常信息后,会自动生成一份简要报告,您可以选择生成报告上传到涂鸦 IoT 开发平台,后续可以在平台上看到详细的测试信息和测试结果。

    详细介绍,请参考 如何在平台查看测试结果

  5. 处理错误信息。

    简单的错误可以通过 帮助中心 的 FAQ 进行排查,复杂问题可以反馈到对应客户经理或者平台,等待处理。

方式三:回归测试

回归测试可以基于历史报告进行失败用例的重新测试。

  1. 参考上文 基础测试 的步骤 1 到 步骤 3,选择 回归测试 后,再选择一份有测试失败用例的历史报告,开始进行测试。
    云测自动化测试 云测自动化测试 云测自动化测试

  2. 参考前文步骤查看报告。
    云测自动化测试 云测自动化测试

    如果回归测试未通过,需要再次排查原因并进行回归。复杂问题可以反馈到对应客户经理或者平台,等待处理。

常见问题

  • 如果遇到使用手机 Chrome 浏览器下载最新版本出现问题时,清理 Chrome 缓存,授于 Chrome 存储权限。
  • 目前暂支持 IoT 中国大陆地区,所以涂鸦 IoT 开发平台测试报告时间采用的是中国大陆地区时间。