Incremental Scenario Testing

In der Testtheorie werden Testobjekte strukturiert getestet und alle Bereiche nach und nach durch verschiedene Kombinationen abgearbeitet. In der Praxis ist dies aber manchmal aufgrund von beschränkten Budgets, Ressourcen, Zeitdruck oder Komplexität der Software nicht möglich.

Viele Firmen investieren daher vor Beginn der Tests Zeit und wählen einen risikoorientierten Testansatz, um zu mindest die wichtigsten Bereiche mit den vorhandenen Mitteln abzudecken. Andere Firmen zielen auf schnelle Erfolge und wählen einen explorativen Testansatz.

Planung, Entwurf und Durchführung der Tests finden dabei nahezu in Echtzeit statt, man "ratet" aufgrund von eigener Erfahrung, wo sich Fehler befinden könnten und macht sich gezielt auf die Suche. Nachteilig ist jedoch, dass dabei kaum Dokumentation z.B. für die Reproduktion erzeugt wird und die Testabdeckung nur äußerst schwer zu ermitteln ist. So bleiben eventuell kritische Fehler unbemerkt, nur weil eben niemand auf die Idee kam eine bestimmte Kombination zu testen oder es eben einfach nicht aufgefallen ist.

Um genau in dieses vorprogrammierte Chaos Struktur hineinzubekommen und trotzdem explorativ und erfahrungsbasiert Testen zu können, hat man bei der Teleca AB das Open Source Werkzeug "Incremental Scenario Testing Tool" (ISTT) entwickelt. Im Werkzeug werden sozusagen die Anforderungen und Abhängigkeiten der Testobjekte erfasst und priorisiert, daraus generiert das Werkzeug Testfälle, die von einem Tester durchgeführt und dokumentiert werden. Mit jedem Test soll das Werkzeug hinzulernen und fehleranfällige Bereiche ausgiebiger Testen als andere.

Von der Idee her finde ich den Ansatz nicht schlecht, da es die größten Probleme des explorativen Testens zu beheben versucht, dennoch hängt eben viel davon ab, wie gut das Werkzeug hinzu lernt und mindestens genau so viel von der Arbeit der Tester ab. Laut Teleca konnten sie damit den Aufwand für eine Test Session deutlich reduzieren, die Effizienz ihrer manuellen Tests steigern und die Motivation der Tester, besonders im agilen Umfeld, verbessern.

Ich würde gerne mehr über das Tool hören, besonders weitere Erfahrungsberichte würden mich interessieren. Wenn also jemand das Werkzeug im Einsatz hat oder gewollt ist anzuwenden, vielleicht könnte er uns an seinen Erfahrungen teilhaben lassen?

Mehr dazu:
http://sourceforge.net/projects/istt/
https://istt.teleca.com
IST - An innovative hybrid of scripted and exploratory testing
https://istt.teleca.com/docs/IST-hybrid_article.pdf