自動 Android* 應用測試

測試是應用開發流程中的重要環節。 對於 Android,這尤為重要,因為 Android 設備彼此之間差異很大,主要體現在以下幾個方面:

  • 屏幕尺寸和分辨率
  • Android 版本
  • 外形
  • 處理器的指令集
  • 是否有前置攝像頭、NFC、外置鍵盤等。

    您應在多臺設備上對 Android 應用進行測試。

    應用測試流程包括多種測試。 讓我們來瞭解一下手動功能測試。 測試者需要認真檢查所有功能並將設備重置為初始狀態。 測試者在每個應用和每部設備上重復上述操作。 該流程是手動完成的,因此非常耗時。

    自動功能測試可按計劃執行而無需額外成本。 例如,測試一個 build,每天晚上在所有設備上進行測試,早上分析結果並修復漏洞。

    在本文中,我們將回顧幾種適用於自動功能測試的工具。 我僅對 Android SDK 中包括的或在開源許可協議下發佈的工具進行介紹。

    自動測試的概念

    我們的目標是將手動執行的操作自動化,以實現最大精度。 讓我們瞭解一下這些操作。 我們將使用多個應用和多部 Android 設備。

    對於每個應用和每部設備,我們應按照下列步驟來操作:

  • 在設備上安裝應用
  • 啟動應用
  • 使用指定方法測試應用
  • 卸載應用
  • 將設備重置為初始階段

    在每個步驟中,您需要收集和分析數據,如日志和截屏。 在下文中,我們將討論將這些步驟自動化的工具。

    控制 Android 設備

    首先,您需要選擇用於運行自動化測試的電腦,並在該電腦上安裝 Android SDK。 我將以運行 Linux* 系統的臺式電腦為例。 您需要在每臺設備上禁用鎖屏並將“進入睡眠模式的時間”調整到最大值。對於一些方法 您需要禁用屏幕方向調整。

    Android SDK 中有兩種實用程序可以控制 Android 設備: ADB 和 monkeyrunner*。 下面,我將具體介紹如何將手動測試中的操作自動化。

    使用 ADB 控制 Android 設備

    ADB (Android Debug Bridge)是控制 Android 設備的命令行工具。 ADB 主頁是: https://developer.android.com/tools/help/adb.html

    ADB 工具位於 /platform-tools/ 目錄下。您需要將該目錄存放到 PATH 環境變量下。

    檢查 ADB 安裝

    安裝並設置 Android SDK,然後將 Android 設備連接至您的電腦並運行下列命令:

    adb devices

    該命令將出現在所有插入的 Android 設備上。 如果設備列表不是空白,那麼 ADB 便可正常運行。

    在多臺設備上運行

    您需要使用“-s”參數指定 ADB 應使用哪臺設備。

    adb -s [serial_number] [command]

    例如:

    adb -s [serial_number] logcat

    設備的序列號可通過輸入 ?adb devices? 命令後生成的輸出中獲得。 參數 -s 支持您同時使用多臺互聯設備。

    基本的 ADB 命令

    在設備上打開控制臺:

    adb shell

    在設備上運行命令:

    adb shell [command]

    Android 中包含許多標準的 Linux 實用程序: ls、cat、dmesg …

    從 apk 文件安裝應用:

    adb install example.apk

    卸載應用:

    adb uninstall [package]

    從 apk 文件獲取程序包名稱:

    aapt dump badging example.apk | grep "Package"

    從設備將文件下載至電腦:

    adb pull [path-on-device] [file]

    從設備將文件上傳至電腦:

    adb push [file] [path-on-device]

    註:
    Android 設備上的大多數目錄僅支持讀取訪問。 /sdcard (但是您無法從該目錄下運行程序)和 /data/local/tmp 支持寫入訪問。

    啟動應用:

    adb shell am start -n [package]/[activity]

    運行指定活動。

    您可以從 apk 文件抽取活動名稱:

    aapt dump badging example.apk | grep "launchable-activity"

    讀取日志

    Logcat 是從 Android 設備讀取日志的命令。

    Logcat 主頁:https://developer.android.com/tools/help/logcat.html

    從設備讀取日志(按下 Ctrl-C 解除阻止):

    adb logcat

    清除設備上的日志緩存:

    adb logcat -c

    將日志緩存轉儲到設備上(顯示當前的緩存內容,未阻止):

    adb logcat -d

    示例:

    1adb logcat -c # clear the buffer log
    2# Action
    3adb logcat -d > file.log # save the current contents of the log buffer to file.log

    使用 screencap 截取屏幕

    screencap 實用程序將當前的屏幕內容保存為圖形文件:

    1adb shell screencap /sdcard/screen.png
    2adb pull /sdcard/screen.png screen.png
    3adb shell rm /sdcard /screen.png

    screencap 實用程序可在安裝瞭 Android 4.x 和更高版本的手機上使用。 在低於 Android 4.x 的版本上,您可以使用 monkeyrunner 來截取屏幕。

    使用 ADB 運行 BASH 腳本來測試應用

    腳本: app_test.sh

    使用 MonkeyRunner 控制 Android 設備

    monkeyrunner 工具可為腳本提供控制 Android 設備的 API。 您可以使用 monkeyrunner 編寫 Python* 腳本來安裝、啟動 Android 應用,模擬用戶操作,獲取截圖並將其保存至電腦。 Monkeyrunner 使用 Jython* 運行腳本。

    monkeyrunner 主頁和 API 參考: https://developer.android.com/tools/help/monkeyrunner_concepts.html

    使用 monkeyrunner 讀取日志

    File log.py:

    01# coding: utf-8
    02from com.android.monkeyrunner import MonkeyRunner, MonkeyDevice
    03
    04def log(fn, device):
    05 msg = device.shell('logcat -d')
    06 f_log = open(fn, 'at')
    07 if msg is None:
    08 msg = 'None'
    09 f_log.write(msg.encode('utf-8'))
    10 f_log.close()
    11 device.shell('logcat -c')
    12
    13if __name__ == '__main__':
    14 device = MonkeyRunner.waitForConnection()
    15 device.shell('logcat -c') # Clear logs buffer
    16 # ...
    17 log('example.log', device) # Write logs

    開始:

    monkeyrunner log.py

    腳本將會把日志寫入當前目錄下名為“文件示例.log”的文件。

    使用 MonkeyRunner 捕捉截圖

    File screen.py:

    1# coding: utf-8
    2from com.android.monkeyrunner import MonkeyRunner, MonkeyDevice
    3
    4if __name__ == '__main__':
    5 device = MonkeyRunner.waitForConnection()
    6 image = device.takeSnapshot()
    7 image.writeToFile('screenshot.png','png')

    開始:

    monkeyrunner screen.py

    腳本捕捉截圖並在當前目錄下將其保存為名為 filescreenshot.png 文件。

    示例:使用 monkeyrunner 控制設備

    腳本: monkeyrunner_test.py

    開始:

    monkeyrunner monkeyrunner_test.py

    自動測試方法

    使用 Monkey* 進行測試

    試想將正在測試的設備交給一隻非常敏捷且極富創造力的猴子 — Monkey(猴子)工具的設計便是模擬這種情形。Monkey 工具是 Android SDK 的組成部分,可發送一連串的隨機用戶事件。命令行參數可指定用戶操作次數、每類事件的比率和程序包的名稱(因此,Monkey 的操作不會超出所測試應用的限度,且不會向地址簿中的任何聯系人發送 SMS)。

    Monkey 主頁上提供瞭諸多示例和參數列表: https://developer.android.com/tools/help/monkey.html

    Monkey 工具的主要優點是零維護成本。 而且,壓力測試還可檢測出 non-trivial 漏洞。

    使用 Monkey 工具進行測試的缺點:

    • Monkey 無法模擬復雜的工作負載,如身份驗證。 因此,應用的功能性無法進行測試。
    • 需要復雜控制(快速反應和復雜手勢)的遊戲應在開始時完成,或不要執行該類應用的測試。
    • Monkey 發現的錯誤很難再現。
    • Monkey 無法在測試過程中檢查應用狀態。

      對於任何應用而言,開始都可以先使用 Monkey 進行自動測試。 這種方法可為具體應用提供充足的結果。如果測試質量較低,您需要使用其他測試方法。

      使用 MonkeyRunner 進行測試

      使用 MonkeyRunner,您不僅可以開發 Android 設備控制腳本,還可以編寫腳本在特定設備上測試應用。

      優點:

      • 靈活。

        缺點:

        • 編寫腳本較復雜 — 即使是在簡單的情況下。

          開發 MonkeyRunner 需要花費很長的時間,因此通常這種方法不太理想。但是在某些情況下可以使用這種方法。

          使用 getevent 和 sendevent 進行測試

          Getevent 和 sendevent 實用程序支持用戶記錄事件序列並將其再現。運行這些工具不需要根許可。

          優點:

          • 在手動測試下,無需花費額外成本便可記錄事件序列(如果執行)。
          • 記錄事件序列不需要編程技能。

            缺點:

            • 需單獨為每個應用和每部設備記錄序列。如果您更改瞭一個應用界面,需要重新記錄所有已記錄的操作。
            • 這種方法無法在測試過程中檢查應用狀態。 如果應用響應延遲(如網頁加載),測試結果將出現錯誤。
            • 演示快速、復雜的序列所需的時間比記錄的時間長。 因此,有時候這種方法不適合測試響應時間較為關鍵的動態遊戲(dynamic game)。

              記錄事件序列:

              01# Record event sequence
              02# Do actions on the device, press Ctrl-C to finish
              03adb shell getevent -t > events.txt
              04# Convert event sequence to script
              05./decode_events.py events.txt > events.sh
              06# Load the script to the device
              07adb push events.sh /data/local/tmp/
              08# Set the permissions
              09adb shell chmod 755 /data/local/tmp/events.sh
              10# Run script
              11adb shell sh /data/local/tmp/events.sh

              腳本: decode_events.py

              在設備上再現記錄的事件序列。

              使用 Robotium* 進行測試

              Robotium 未包含在 Android SDK 中,但是它是在開源協議下發佈的產品。 Robotium 主頁是: https://code.google.com/p/robotium/。

              Robotium 腳本可在應用 UI 層面而非輸入設備層面定義操作。

              例如,腳本需要點擊 ?OK? 按鈕。 monkeyrunner 腳本將按照“點擊屏幕點(x0, y0)”執行。 Robotium 腳本將按照“按下帶有文本“OK”的按鈕”執行。

              當在界面層面描述操作時,測試腳本將不受界面佈局、界面分辨率和方向的影響。

              此外,Robotium 還支持您檢查應用對操作的響應。例如,點擊 ?OK? 按鈕後,將會出現帶有“Item 1”的列表項目。您還可以使用 Robotium 查看列表元素的名稱。 如果您可以在每一步之後檢查應用狀態,便很容易找到錯誤出現在哪一步。

              缺點:

              • 您需要在 Java* 中為每個應用開發一個測試腳本。 這需要編程技巧,也較為費時。
              • 應用界面更改後,必須重新安排事件序列。
              • 相比使用 getevent / sendevent 而言,編寫 Robotium 校本更為困難。

                一般而言,Robotium 支持您以適度的成本開發最高質量的測試案例。

                測試方法比較

                測試方法 優點 缺點

                Monkey — 一連串隨機用戶操作

                無維護成本。
                不受設備影響。
                壓力測試可檢查 non-trivial 錯誤。

                測試質量在不同的應用上會有所差異。
                無法再現缺陷報告。

                Monkey 無法在測試過程中檢查應用狀態。

                monkeyrunner — 設備控制腳本

                靈活性

                編寫腳本較復雜 — 即使針對簡單的應用。

                getevent/sendevent — 記錄/再現用戶操作

                記錄事件序列不需要編程技能。

                記錄的操作序列僅可在一臺設備上以固定的界面方向執行。

                應用界面更改後,必須重新安排事件序列。

                這種方法無法在測試過程中檢查應用的狀態。

                Robotium — 測試腳本 API 以驗證狀態

                操作在應用 UI 層面描述。

                腳本可能不會受到界面分辨率和界面方向的影響。

                腳本可在一個操作後檢查應用狀態。

                在 Java 編寫腳本較復雜。

                如果您更改瞭應用界面,將需要修改腳本。

                結果分析

                現在,我們需要分析在自動錯誤測試流程過程中收集的日志和截屏。

                日志分析

                您可以搜索一下以下的字符串:

                • I/DEBUG
                • FATAL EXCEPTION
                • WIN DEATH

                  您可以在該列表中添加在手動測試中發現的錯誤消息。

                  截屏分析

                  您可以準備一系列測試關鍵時刻的截屏,並在自動測試時將其與屏幕內容進行對比。 這可以確定自動測試流程是否正常運行。

                  將最初的截屏與應用啟動後的截屏進行對比非常有用。 它可以在應用出現靜默故障時檢查事件。

                  Monkeyrunner 支持您按照指定的容錯性(百分比)對比兩個截屏:

                  1image1 = device.takeSnapshot()
                  2# ...
                  3image2 = device.takeSnapshot()
                  4if image2.sameAs(image1, 0.1):
                  5 print 'image1 and image2 are the same (10%)'

                  很遺憾,沒有 MonkeyImage API 可用於加載文件中的圖片。 您可以使用,如 Python* Imaging Library 編寫一個自定義功能來對比圖片。

                  將設備重置為初始狀態

                  您應在測試後將設備重置會初始狀態。這可以通過下列幾種方法來實現:

                  • 多次按下 ?Back? 按鈕。
                  • 重啟設備。
                  • 重啟 zygote 流程。

                    通常情況下,第一個選項最合適。

                    多次按下 Back 按鈕

                    使用 monkeyrunner 按 “Back” 按鈕:

                    1for i in xrange(0, 10):
                    2 device.press('KEYCODE_BACK', MonkeyDevice.DOWN_AND_UP)
                    3 time.sleep(0.5)

                    在實際情況下這是較好的選擇,因為它不需要用戶實際操作。

                    結論

                    在本文中,我們介紹瞭幾種針對 Android 應用的自動測試方法。 我們回顧瞭自動測試方法的優點和缺點。

                    此外,我們還討論瞭 Android SDK 中的 Monkey 和 monkeyrunner 工具以及 Robotium 工具。

                    自動測試不能取代其他類型的測試。正確的有組織的測試流程(結合包括自動測試在內的不同測試方法)是高質量應用開發流程的必要部分。

                    分類:

                    • 電話
                    • 安卓*
                    附件 尺寸
                    下載 app-test.zip 571 字節
                    下載 decode-events.zip 815 字節
                    下載 monkeyrunner-test.zip 756 字節
  • 發佈留言