Testautomatisierung mit skriptgestützten Tools

Stichwörter

Testautomatisierung, Skripten, Modultest, WinRunner, Confidence Test, C++, Visual C++

Aufgabenstellung

Für die embedded Software unseres Kunden aus dem Telekommunikations- und Funkbereich waren automatisierte Tests für verschiedene Zwecke, von der Vollständigkeit der Benutzermenüs bis zu speziellen Funktionalitätstests einzelner Bereiche, zu erstellen. Die Software ist gekennzeichnet durch modularen Aufbau und verfügt über eine Visual C++ basierte Simulation der Benutzerschnittstelle.

Testautomatisierung

Lösung

In Zusammenarbeit mit dem Kunden wurden skriptgestützte Tests und Testapplikationen mit C++ und Visual C++ entwickelt. Außerdem wurde beim Kunden bereits vorhandene sowie Standard-Testsoftware auf ihre Eignung für das jeweilige Problem hin getestet und ggf. weiterentwickelt. Die Tests wurden dann in eigener Verantwortung durchgeführt, ausgewertet und archiviert.

Modultest
Zum automatisierten Test einzelner Module der embedded Software wurde nach Kundenvorgaben ein Testtreiber in C++ entwickelt, der für das zu testende Modul eine Umgebung mit Message-Verkehr simuliert. Das Testskript ist eine Klasse, die einen Message-Generator steuert, der Messages an das Testmodul schickt, auf die es in definierter Weise reagieren soll.

Das Testmodul muß dabei bestimmte, von einer Testlibrary der Umgebung bereitgestellte, Messages in der richtigen Reihenfolge und Anzahl abrufen. Ein Statistikmodul überwacht die Aktivitäten und die Antwort-Messages des Testmoduls. Der Testtreiber ist Client eines C++ basierten Loggers, der vom Statistikmodul über ein eigens entwickeltes Protokoll Signale empfängt und eine Logdatei und einen Testreport erstellt.

WinRunner
Zum automatisierten Test des gesamten embedded Softwarepakets wurde eine bereits bestehende, auf Visual C++ basierende Simulation der Benutzeroberfläche weiterentwickelt und mit einer TCP/IP Schnittstelle versehen. Dadurch kann die auf dem Zielgerät implementierte Software über die simulierte Oberfläche direkt angesprochen werden. Mit der Standardsoftware WinRunner wurden Tests entwickelt, die die Vollständigkeit und die Funktionalität des umfangreichen Menüs sicherstellen. Dazu wurden Tastendrucke und Benutzereingaben sowie die zu erwartenden Ausgaben des Geräts auf der simulierten Oberfläche aufgezeichnet und in Skripten festgelegt. Außerdem wurden Funktionalitätstests für einzelne Menübereiche entwickelt, wobei die mächtige Skriptsprache von WinRunner komplexe Abläufe ermöglicht.

Confidence Test
Der Test dient der automatischen Überprüfung der Fernsteuerung. Dazu werden die in einem Skript festgelegten zu testenden Kommandos sukzessive ausgeführt. Der Test stammt ursprünglich aus einem benachbarten Projekt und wurde von uns auf seine Eignung für die vorliegende Software hin untersucht und eingesetzt. Im Test können verschiedene Modi angegeben werden, z. B. zum Durchlaufen einer Liste von diskreten Einstellwerten oder zum Vergleich des tatsächlichen Rückgabewertes mit dem erwarteten. Als Ergebnis erhält man eine Logdatei, in der alle aufgerufenen Kommandos protokolliert sind und einen Testreport, in dem alle erfolgreichen Aufrufe sowie aufgetretene Fehler aufgeführt sind.