Incremental Scenario Testing - Qualitätssicherung in der Softwareentwicklung und im Softwaretest

In der Testtheorie werden Testobjekte strukturiert getestet und alle Bereiche nach und nach durch verschiedene Kombinationen abgearbeitet. In der Praxis ist dies aber manchmal aufgrund von beschränkten Budgets, Ressourcen, Zeitdruck oder Komplexität der Software nicht möglich.

Viele Firmen investieren daher vor Beginn der Tests Zeit und wählen einen risikoorientierten Testansatz, um zu mindest die wichtigsten Bereiche mit den vorhandenen Mitteln abzudecken. Andere Firmen zielen auf schnelle Erfolge und wählen einen explorativen Testansatz.

Planung, Entwurf und Durchführung der Tests finden dabei nahezu in Echtzeit statt, man "ratet" aufgrund von eigener Erfahrung, wo sich Fehler befinden könnten und macht sich gezielt auf die Suche. Nachteilig ist jedoch, dass dabei kaum Dokumentation z.B. für die Reproduktion erzeugt wird und die Testabdeckung nur äußerst schwer zu ermitteln ist. So bleiben eventuell kritische Fehler unbemerkt, nur weil eben niemand auf die Idee kam eine bestimmte Kombination zu testen oder es eben einfach nicht aufgefallen ist.

Um genau in dieses vorprogrammierte Chaos Struktur hineinzubekommen und trotzdem explorativ und erfahrungsbasiert Testen zu können, hat man bei der Teleca AB das Open Source Werkzeug "Incremental Scenario Testing Tool" (ISTT) entwickelt. Im Werkzeug werden sozusagen die Anforderungen und Abhängigkeiten der Testobjekte erfasst und priorisiert, daraus generiert das Werkzeug Testfälle, die von einem Tester durchgeführt und dokumentiert werden. Mit jedem Test soll das Werkzeug hinzulernen und fehleranfällige Bereiche ausgiebiger Testen als andere.

Von der Idee her finde ich den Ansatz nicht schlecht, da es die größten Probleme des explorativen Testens zu beheben versucht, dennoch hängt eben viel davon ab, wie gut das Werkzeug hinzu lernt und mindestens genau so viel von der Arbeit der Tester ab. Laut Teleca konnten sie damit den Aufwand für eine Test Session deutlich reduzieren, die Effizienz ihrer manuellen Tests steigern und die Motivation der Tester, besonders im agilen Umfeld, verbessern.

Ich würde gerne mehr über das Tool hören, besonders weitere Erfahrungsberichte würden mich interessieren. Wenn also jemand das Werkzeug im Einsatz hat oder gewollt ist anzuwenden, vielleicht könnte er uns an seinen Erfahrungen teilhaben lassen?

Mehr dazu:
http://sourceforge.net/projects/istt/
https://istt.teleca.com
IST - An innovative hybrid of scripted and exploratory testing
https://istt.teleca.com/docs/IST-hybrid_article.pdf

Comments

[Matthias Ratert]

Hallo Herr Bullinger,


vielen Dank für ihre präzise Beschreibung des "Incremental Scenario Testing". Ich hätte die Grundideen der Methodik nicht besser beschreiben können!


Und sie haben Recht, viel hängt davon ab, wie gut das Tool lernt. (Natürlich hängt auch einiges von den Testern ab, aber das ist beim explorativen Testen noch mehr der Fall.) Wir haben versucht,
die Lern-Algorithmen zu optimieren und haben auch verschiedene Strategien implementiert, um diese vom test-Manager weiter verfeinern zu lassen. Daher denke ich, dass die IST Methodik genau dies
sehr gut beherrscht.


Den viel größeren Einfluss auf den gesammten Nutzen hat aber die Modellierung des Projektes, also der zu testenden Software. Bildet dieses Modell den zu testenden Funktionsraum nur unzureichend
ab, kann das Tool natürlich nicht die Schwachstellen der software finden, da es gar nicht davon weiss.


Daher bin ich auf der Suche nach "Forschungs-Projekten", die der IST-Idee eine Chance geben und sich vielleicht sogar bei der Erstellung des Modells unterstützen lassen.


Ansonsten bin ich natürlich auch an jedem weiterem Feedback interessiert!


Viele Grüße,
Matthias Ratert


 

[Robert Bullinger]

Hallo Herr Ratert,


leider hatte ich nicht die Zeit dazu, Ihr Werkzeug komplett zu analysieren und zu prüfen. Besonders über die Möglichkeiten der Modellierung habe ich nur wenig gefunden.


Ich finde jedoch den Ansatz sehr interessant und habe daher das Werkzeug in meinen Blog aufgenommen. Vielleicht melden sich ja mögliche Projekte bei Ihnen über diesen Weg. Erfahrungen über den
Werkzeugeinsatz würden mich auch sehr interessieren.


Sollte sich bei meiner Projektarbeit einmal die Möglichkeit ergeben, werde ich es sicher einmal dem Praxistest unterziehen.


Viele Grüße,
Robert Bullinger