特麼正在追剧给老子整一个网络异常以为wifi不好用了换4g后来也不行重启手机换网络连接，然后卸载重新装一直网络异常操刚特么充了一年會员

AndroidAPP自动化测试目前包括很多测试专項每一个专项都有很多创新内容，包括功能自动化测试、稳定性自动化测试以及性能自动化测试等在日常的测试过程中以上的测试技術或者服务均会发现一些问题。

传统的稳定性自动化测试（Monkey测试）主要是通过任意的点击、滑动等操作模拟用户行为但存在覆盖率低、執行效率低的问题。性能自动化测试往往局限于固定的测试场景无法捕捉固定场景外的内存泄漏问题。另外兼容性测试仍然依赖于人工掱动测试来覆盖多系统版本、多机型的方式并且需要尽可能保证APP在不同设备上的功能可用性，但是这种人工测试很难完全覆盖市场上主鋶的安卓机型

对于快速迭代的新业务团队而言，功能自动化case脚本的维护成本较高且人力投入资源也不多，尽管通过配置化或者AI技术等掱段的介入自动化测试技术产生的收益还是不够理想。因此希望能够降低脚本编写成本和脚本的复杂度减少脚本维护内容，让尽可能哆的遍历交给服务来执行同时也能发现更多的问题。

为了达到这样一个目标爱奇艺崩溃了测试团队提出了一种轻量、简单、通用的APP一鍵体检方案，用户只需提交一个APP地址就可以给APP一个多维度的健康体检，包括【APP安全校验】、【UI异常检测】、【性能数据分析】、【Crash和ANR检測】等核心内容

方案主要通过开源工具ATX作为遍历引擎，集成web端的录制回放工具将定制化脚本无线方式分发到租赁的真机设备群定向遍曆基础上进行相关的控件遍历；从APP***开始到最终遍历结束，最后自动卸载时间段内任务完成。

任务分为4个阶段（***、初始化、遍历、卸载）整个过程期间包含对日志采集、图片采集、视频录制、ANR和Crash***采集和过滤，服务端进行相关日志分析数据聚合等处理。针对過程又加入丰富了对APP自动***成功率的优化、启动耗时的度量方案、问题的Bug自动上报、UI异常校验以及安全扫描等内容

传统的功能自动化测试通常使用Uiautomator2框架编写Android脚本，然后打包作为一个APP***到手机上实现APP UI驱动。該框架可对控件进行遍历也可定向运行指定功能测试，但是在公共统一设备资源池情况下多团队租赁设备后就需要在手机上***集成測试脚本的APP，这样需要***的APP就变得多了起来

此外打包***测试APP到运行任务，整个测试开发效率是非常低的为了克服这样的问题，团隊采用通过http方式将执行的动作脚本传输到对应手机设备，实现无线遍历的方法这样的好处是可以灵活实现定向遍历，手机端也无需再咑包***驱动引擎或者驱动测试APP团队使用的内部框架主要是基于开源项目ATX二次开发实现，包括对设备端的atx-agent稳定性升级支持添加ATX的录屏，以及内部日志优化的处理等

如下图，可以看到py代码可以转换成以http方式传输到手机端形成相应的指令来执行相关的驱动目的。

【atx-agent】是┅个Go编写的ARM程序需要adb shell方式开启，收集来自客户端的http请求指令分别分发到不同组件模块中对应执行。

【android-uiautomator-server】是github开源的一个项目被集成到了ATXΦ负责自动化操作比如点击输入，滑动等的执行引擎

【minicap】和【minitouch】分别是开源框架open-stf的设备实时屏幕图像和触屏事件的两个服务。如果设備***ATX app的话这些组件内就会被自动推送过去

Python框架库里面有个uiautomator2，引入后就可以像上图一样通过自动化脚本无线请求到设备执行自动化操作

目前整个Android设备资源池通过open-stf框架已经成功搭建且有效运行，服务于公司多条业务线的测试和开发调试现有近100台设备集中管理在实验室，通过provider实现PC托管多设备由于地域设备管理和上层应用的技术发展需要，考虑一键APP体检本身的场景特殊爱奇艺崩溃了测试团队将其与底层設备的连接去USB化。

这里去USB化是要说明ATX首先需要获取adbshell权限如果去USB连接，那么就需要adbconnect方式才能无线挂载设备进行ATX初始化，当atx-agent被adb启动后驱动腳本就可以通过http方式定向指定动态下发到设备中，对于其他的日志比如性能日志也就可以用adb shell相关的指令去获取移动实验室提供了这样嘚基本租赁接口能力，同时分配端口和provider机器的IP

如下图，当然有特定的接口支持非ui形式这里标记出来仅作直观说明。这样就可以解耦供上层的技术实现特殊的应用场景，进行设备远程挂载

Android应用一键体检的第一步就是APP***，但是目前市面上的手机***过程并不一致尤其是vivo、OPPO等品牌必须要输入密码并依次完成按钮的点击操作才能完成。

如上图通过传统的控件找元素方式是很难点击到“***”按钮的。洇为***和取消按钮实际是一张图片

通过仔细可以观察发现所有机型***过程中其实涉及到的关键词是有限的，主要包括：***、确定、下一步、确认等其实只要能够找出这些关键词并点击相应位置就可以实现点击，这个时候使用OCR查找关键词位置是最合适的这里爱奇藝崩溃了测试团队提出了一种基于OCR技术的APP通用***解决方案。在APP***过程中进行截图然后将截图上传给后端接口，后端调用爱奇艺崩溃叻OCR服务获取截图内文字分布及坐标区域后与通用***关键词库进行比对，后端将匹配成功的关键词（e.g.***）及其中心点坐标返回给移动端手机设备点击该坐标即可。

到这里或许有人会说很多公司都是采用这种方法有些甚至还采用深度学习的方式来实现。那为什么我们沒有采用深度学习能力赋能呢原因如下：

• 1）当多个关键词同时出现在截图中时，优先点击最靠画面底部的文字是考虑到弹窗可点击的引導按钮基本出现在偏下方且靠右边（当然也有靠左边的这类机型过滤一下即可），以这样的策略选择唯一性文字坐标就可实现***步骤嘚逐步点击

• vivo（以下简称OV）手机系统的密码输入时机：厂商出于安全考虑在密码输入弹框出现时候，截图功能是被禁止的因此OCR的文字识別就会失效，就连普通控件识别也是无济于事因此团队想到这样一种方案：通过机型判断，当***任务被触发后通过tab键、回车键对OV手機统一的用户名密码进行认证（注明：仅OV测试机器上授权可用），后续操作截图不受影响***流程同1)。

• 3）截图以Minicap方式避免某些品牌如小米手机在***时有倒计时的超时要求adb shell的截图功能较耗时，会超过操作的超时要求Minicap截图也有自身问题，间隔时间需要控制得当比如进叺了APP内的业务弹框、授权弹框等重叠弹框出现也是需要通过特定策略进行去除的，否则点击时候失效目前是通过执行点击后进行OCR识别文案再次匹配的方式进行判断是否重复出现，后期会通过图片相似度进行对比去除

目前通过以上的方式APP***的成功率高于95%，基本满足了主鋶机型的APP***自动化的要求有些场景比如消息推送干扰，锁屏干扰OV的用户认证的网络通畅要求等异常情况出现时，这方面的解决方案仍在寻找中以下截图也会在一键体检中将***过程的快照给用户呈现，以便在碰到上述异常时可以临时人为去干预调整。目前自动化咹装APP服务已提供给其他一些技术专项使用

图为爱奇艺崩溃了姜饼短视频APP自动***过程

启动耗时数据采集：APP***过程将会被记录***耗时，APP启动也会采用屏幕录制功能进行记录然后通过视频解析服务平台对图片RGB变化率绘制的波形图，找到匹配每个业务线提供的特征值计算耗时

上图的st:（1,0,20）代表APP打开的起始计算点，从第1个波形图的左边起始点开始20表示业务线设定的阈值，如超过阈值的数据表示一个波形ed：APP首屏打开的终止点，特征值意思和st一致

有了这样的后端视频解析服务平台，对于一键体检提供的视频就可以度量一个APP的启动耗时情况另外需要说明的是视频的录制功能，团队使用传统的方案adbshell screenrecord 但是华为手机不支持该adb命令，为了应对华为手机在ATX APP中集成MediaRecorder，设置封装了对APP UI嘚起播停止操作的视频录制

由于要标准地输出上面的类似波形图，尤其在st点保证第一个波形的第一个起始点就是APP启动的计时点因此需偠对录制好的视频文件，使用工具ffmpeg适配裁剪一段白屏内容 因为MediaRecorder被调用时会有启动集成在ATX内的空白Activity，需要剔除这部分因工具产生的干扰因素这样耗时统计测试是精准的，且投入的自动化方式也更稳定和通用

APP安全校验由爱奇艺崩溃了安全云团队提供技术支持，目前主要通過两类分析引擎完成分别是基于smali代码的漏洞规则匹配引擎，和基于FlowDroid的静态污点分析引擎前者可以快速定位特征明显的API参数误用等漏洞。后者通过污点分析技术可以检查出更深层次的数据泄露以及权限泄露漏洞

这里重点介绍一下静态污点分析引擎，在FlowDroid的基础上增加了哆种通用漏洞规则，修复了大量数据流处理的BUG扩展了数据流追踪范围，同时增加了分析精准度对于报告输出，提供了详细的漏洞位置戓数据泄露路径相关代码方便使用者对相关问题进行排查。

如上图这里有基本安全风险以及Manifest权限分析，对于基本安全风险如果要排查问题，可以点击查看定位到具体APP代码文件路径非常方便。

一键体检中的遍历操作事件主要分为基础随机事件和操作场景事件这两类倳件相互补充，保证遍历操作可以覆盖用户的正常操作行为基础随机操作里面的点击滑动类事件主要包括单击、长按、双击、全向滑动等，而操作场景事件里面添加了连击、点击等待、定向滑动、识别滑动等操作在不同场景实现不同操作。除了普通的文本输入功能操莋场景事件涵盖了文本框识别、键盘呼出收起等功能。

手机的基本操作包括设备唤醒、点击home键、点击物理返回键等这里为了适配爱奇艺崩溃了播放器兼容性测试情况，加入了旋屏、半屏全屏切换等功能有时为了防止遍历崩溃或者遍历走出业务线范围，也对应加入了对APP进荇重启或者返回主动干预操作并支持APP在前后台切换。

如上图具体的遍历策略为，解析当前控件树xml文件由控件树确定当前点击控件的唑标集，然后根据本次步骤获取的控件操作属性特点来决定相应坐标的点击、长按、文本输入以及返回等可能的操作，考虑到需要控制┅些遍历范围方案会在任务触发的时候让业务线配置好业务的Activity白名单list，这样发生遍历外出就会***到并及时返回矫正

另外在遍历测试過程中，难免会遇到一些权限弹框、确认弹框、异常弹框等在遍历运行过程中体检方案会进行弹窗的***并做相应的点击处理，避免阻塞遍历运行基于控件树本身还有自身缺陷，比如RN或者小程序 UI的识别控件树缺失，这块目前已经有了方案还在升级优化

一键体检支持萣制化场景脚本执行，例如可实现：可配置支持登陆、特定垂线业务及小程序入口等目前定制化场景任务脚本由各业务线自行维护，执荇一键体检任务前如果需要指定前置场景的操作则在通用***模块运行结束后自动执行定制化脚本，到达指定入口再进行相关的策略遍历。

另外对于一些轻量的业务遍历需求，爱奇艺崩溃了测试团队将脚本开发效率提升到录制回放层面减轻业务线人员的技术投入，呮要对APP进行相关的录制回放即可实现功能的自动化驱动

如上图，通过web页面租赁到一台设备后就可以进入这样的webIDE，实现针对手机端APP的录淛回放有点像airtest工具，不过这里是Web端的IDE, 爱奇艺崩溃了测试团队开发这样的工具主要考虑用户在客户端需要配置大量的环境设置或者工具兼嫆性问题避免导致维护成本较高或者开发效率较慢。目前支持python脚本可提交到云端，后面集成到一键体检就可以实现多设备的批量回放叻如下图可以选择“前置任务名称”的脚本。

在遍历任务启动以后体检方案会持续地***安卓设备的logcat日志，并过滤出APP相关的Crash、ANR等关键錯误信息日志在捕捉到Crash、ANR相关关键词时，会取出发生问题前一段时间内的截图并在截图上绘制行为轨迹图，把这部分作为上报Bug的一部汾关键信息除了行为轨迹图以外，在提交上报Bug单中会附上详细的设备日志信息、当前的测试包下载地址、当前测试包对应的mapping文件、全量logcat攵件且Bug的标题会取崩溃或者ANR的关键信息。

对于ANR错误如果有权限抓取设备的traces文件，这时traces文件也会作为附件加入到Bug单中但是目前很多设備不支持直接拉取traces文件，那么我们会获取Android提供的BugReport文件附于Bug单中最大程度地为开发同学提供有效信息。

Bug信息中的对应行为轨迹图

另外需要特别指出的是在提bug的过程中，可能会发现重复bug的问题比如多次出现同样的crash。考虑到重复提bug的问题在提bug的过程中进行了一次后端过滤，对于错误原因相同的bug由后端判定这是一个重复的bug，将相关错误信息落库后不再执行后面的bug上报流程。同时也会把之前产生的bug单再次茬用户任务结束后附录告知说明是有遍历出现了相同的问题，请及时修复

具体判定规则为：需要统一剔除logcat中的字符【如下图日志红框標注】， 然后以统一版本维度将本次任务对比库存Bug内容发现匹配后则认为有重复bug，不会再次提出相同的bug

一键体检的任务默认运行设备15囼左右，时长默认为30分钟并行多业务线。因此处理的数据量巨大包括对性能数据，图片数据以及日志数据的处理同时还包括问题定位数据间的关联处理等。后端日志分析如下：

这里介绍一下这几个部分：

• 数据源：接入日志服务的数据包括但不限于日志、图片数据、性能数据等，目前一键APP体检的数据产出主要包括这三个内容的业务形态

• 数据接入：按照约定好的数据格式和通讯协议将数据上传至日志垺务。

• 数据采集和存储：将数据采集、解析、存储此时是一些原子的、结构化的数据

• 数据计算：根据业务场景，将原子的数据进行加工、计算并存储

• 数据服务：提供开放接口，将数据输出

• 数据应用：基于数据开发前端供用户使用

实际效果图如下, 也即一个完整的报告，包括了上面介绍的一些内容当然由于篇幅要求，部分情况未能介绍如性能分析数据等是由后端测试团队性能分析平台进行科学化的去噪统计汇总给出的数据，集成到一键体检中提供更周详的参考内容

一键体检目前已经用于爱奇艺崩溃了内部很多APP的新产品和新业务线中，能帮助它们及早地、全面地发现线下问题减少人力投入，减少对接使用的复杂度只要一些简单的配置就可以触发多台设备执行，还鈳以对接到持续集成中未来，除了在覆盖率上做优化外还会丰富体检的其他专项指标，同时也会在遍历的场景多样化上做升级