Evaluierungskriterien für ein Tools zur Automatisierung funktionaler Oberflächentests

Veröffentlicht auf 11. Juni 2008

Die Entscheidung für ein Tool zur Automatisierung von funktionalen Oberflächentest geschieht meist schon sehr früh in den Projektphasen und hat gewaltigen Einfluss auf Planung, Kosten und letztendlich den Erfolg des Gesamtprojekts. Nachfolgende Punkte sollten in keiner Evaluierung fehlen, stellen aber auch keinen Anspruch auf Vollständigkeit dar. Hier muss man je nach Projekt und Anwendungsbereich noch detailierter werden und die Kriterien erweitern.

Nichtfunktionale Anforderungen

Einfache Installation
Auf dem Markt etabliert und im Einsatz
Weitere Unterstützung durch Hersteller
Angemessener Einarbeitungsaufwand
Unterstützung der aktuellen Betriebssysteme
Gemäßigte Ressourcenbeanspruchung
Performance bei größeren oder aufwändigeren Testdurchführungen
Stabilität
Einfache Bedienung
Aussagekräftige Hilfe, Dokumentation, Anleitungen
Akzeptabler Preis und / oder Lizenzkosten

Anforderungen Testaufzeichnung

Unterstützung der Applikationsart
Automatische Erkennung von Objekten auf einer Oberfläche
Handhabung von nationalen Sonderzeichen
Unterstützung von Capture Replay
Speicherung der Testfälle als Skript oder in einer Datenbank
Lesbarkeit und Handhabung der Aufzeichnungen
Strukturierung und Ablage der Testfälle
Leichte Änderungen der Testfälle bei Änderung der Oberfläche

Anforderung Testdurchführung

Parametrisierung der Testdurchführung
Verteilte Testdurchführung
Aussagekräftige Protokolle nach Testende
Detailierte Fehlermeldungen
Anbindung an gängige Testmanagementsysteme

Anforderungen Testauswertung

Statistische und Grafische Auswertung
Zugriff auf eine Testergebnisse-Datenbank
Erweiterbarkeit und Anpassbarkeit der Auswertungen
Exportfunktion für die Ergebnisse und Protokolle (XLS, HTML, ...)

Für weitere Informationen rund um den Prozess einer Evaluation kann auch auf die ISO 14102 - "Guideline for the evaluation and selection of CASE tools" zurückgegriffen werden.