Teststrategie mit GenAI

Teststrategie mit GenAI

0:00 Eine Teststrategie ist eines der Dokumente, vor denen man sich gern drückt. Sie ist wichtig, sie wird selten gelesen, und sie beginnt mit einem leeren Blatt. Genau an dieser Stelle ist generative KI verblüffend hilfreich — und gleichzeitig verführerisch, weil das erste Ergebnis so ordentlich aussieht. In diesem Modul gehen wir den Weg gemeinsam: vom naiven ersten Prompt über das Anreichern mit Produktkontext bis zu einem Entwurf, der einer Freigabe nahekommt.

0:26 Und wir lernen dabei etwas, das für alle weiteren Module gilt: Die Qualität der Antwort folgt der Qualität der Frage.

Die Demo-Anwendung Meal Tracker

0:34 Damit wir nicht im Abstrakten bleiben, arbeiten wir das ganze Seminar über an einem einzigen Produkt. Das hat einen praktischen Grund: Über sieben Module hinweg dieselbe Anwendung zu kennen, spart in jeder Übung die Einarbeitung — und macht die Ergebnisse vergleichbar. Schauen wir uns also an, was diese Anwendung kann, welche fachlichen Regeln in ihr stecken und warum gerade sie sich als Übungsobjekt für Teststrategie, Automatisierung und Lasttests eignet.

0:59 Meal Tracker ist bewusst unspektakulär: eine Web-Anwendung, in der Nutzer eintragen, was sie gegessen haben. Die App rechnet Kalorien und Nährstoffe zusammen und filtert Lebensmittel heraus, gegen die jemand allergisch ist. Klingt harmlos — und ist genau deshalb ein gutes Beispiel. Denn hinter der einfachen Oberfläche stecken echte fachliche Regeln, Berechnungen, Zustände über die Zeit und Nutzerdaten, die man nicht verwechseln darf.

1:24 Wir werden diese Anwendung in jedem Modul wiedersehen: für die Teststrategie, für Testfälle, für Automatisierung, für Lasttests und am Ende für Qualitätsberichte. Wichtiger als die einzelnen Bereiche ist, was sie zusammen ergeben: eine Anwendung mit Zustand. Ein Eintrag im Log verändert das Dashboard, das Dashboard bewertet den Tag, die History hält fest, was gestern war.

1:46 Solche Ketten sind das Interessante am Testen — der Einzelklick ist trivial, die Wirkung über mehrere Ansichten hinweg nicht. Dazu kommt eine Regel mit Sicherheitscharakter: Der Allergie-Filter darf nicht nur meistens funktionieren. Merken Sie sich diese Zusammenhänge, wir werden sie gleich brauchen, wenn wir über Risiken und Scope in der Strategie sprechen.

2:07 Der Reiz dieses Beispiels liegt darin, dass es alle Testebenen bedient, ohne künstlich zu wirken. Die Nährwertberechnung lässt sich als reine Funktion isolieren — perfekt für Unit-Tests. Das Erfassen einer Mahlzeit geht durch mehrere Schichten — Integrationstest. Der Weg vom Login bis zum aktualisierten Dashboard ist ein klassischer End-to-End-Fluss.

2:28 Und weil im Anforderungsdokument auch Barrierefreiheit und Mehrsprachigkeit stehen, haben wir sogar für die nichtfunktionalen Module später etwas in der Hand. Ein Beispiel, das mitwächst — das ist beim Lernen mehr wert als zehn isolierte Schnipsel. Zwei Dinge sollten Sie im Hinterkopf behalten. Erstens: Auch das Anforderungsdokument ist nicht perfekt.

2:49 Die Feedback-Texte der App sind darin noch nicht endgültig formuliert — und genau solche Lücken wird uns die KI gleich vorhalten. Das ist übrigens einer ihrer unterschätzten Nebeneffekte. Zweitens, und das ist der wichtigere Punkt: Ohne eigene Kenntnis der Anwendung können Sie generierte Testfälle nicht bewerten. Sie sehen dann nur, ob etwas plausibel klingt.

3:09 Deshalb lohnt sich die Zeit, die wir hier in das Verstehen des Produkts stecken — sie zahlt sich in jedem weiteren Modul aus.

Teststrategie mit GenAI entwerfen

3:17 Jetzt wird es praktisch. Wir starten mit dem naivsten denkbaren Prompt, schauen uns ehrlich an, was dabei herauskommt — und arbeiten uns dann Schritt für Schritt zu einem besseren Ergebnis vor. Dieser Umweg ist Absicht: Wer gleich mit dem perfekten Prompt beginnt, sieht nie, welchen Unterschied der eigene Input macht. Und genau dieses Gefühl für die Wirkung des Kontexts brauchen Sie in jedem weiteren Modul.

3:40 Bevor wir die KI fragen, müssen wir selbst wissen, was wir wollen. Eine Teststrategie beantwortet das Wie: Wie wird in diesem Projekt getestet, in welchen Umgebungen, wer ist wofür zuständig, welche Werkzeuge kommen zum Einsatz, und an welcher Stelle im Lieferprozess passiert das? Der Vergleich, der hilft: Die Strategie ist der Bebauungsplan, nicht der Bauplan des einzelnen Hauses. Sie bleibt auf hoher Flughöhe.

4:04 Sobald konkrete Testfälle darin auftauchen, ist sie keine Strategie mehr, sondern ein Testplan — und genau in diese Falle läuft die KI mit großer Zuverlässigkeit. Der erste Versuch ist ernüchternd und ermutigend zugleich. Ermutigend, weil innerhalb von Sekunden eine Gliederung dasteht, wo vorher ein leeres Blatt war — das allein löst schon eine echte Blockade.

4:26 Ernüchternd, weil die Antwort generisch bleiben muss: Das Modell weiß nichts über unser Produkt. Also füllt es die Lücken mit Annahmen. Plötzlich steht da etwas über mobile Ansichten, die es bei uns gar nicht gibt. Und statt Leitplanken bekommen wir Beispieltests. Merken Sie sich das Muster: Wo Kontext fehlt, erfindet das Modell welchen. Das gilt für Strategien genauso wie für Testfälle.

4:50 Der Gedanke hinter diesen fünf Schritten ist ein Experiment mit sich selbst: Erst schauen, was ohne Kontext passiert, dann Kontext geben und den Unterschied sehen. Wer gleich mit dem vollständigen Anforderungsdokument startet, erlebt diesen Unterschied nie und lernt nichts über die Wirkung des eigenen Inputs. Mit dem Dokument wird die Antwort deutlich relevanter — der Scope stimmt, die fachlichen Regeln tauchen auf.

5:14 Aber Vorsicht vor dem neuen Problem, das damit entsteht: Jetzt klebt die Antwort am Dokument und wird zur Produktzusammenfassung. Mehr Kontext ist besser — aber Kontext allein reicht nicht. Diese Übung ist bewusst als Vergleich angelegt. Erzeugen Sie zwei Fassungen — eine ohne, eine mit Produktkontext — und legen Sie sie nebeneinander.

5:33 Die Fähigkeit, die Sie dabei trainieren, ist ein geschulter Blick für Annahmen: Wo behauptet das Dokument etwas, das wir nie gesagt haben? Wo klafft eine Lücke? Und wo ist der Text von der Strategie in den Testplan gerutscht? Notieren Sie diese Stellen konkret. Der Vergleich zeigt Ihnen schwarz auf weiß, wie viel Ihr eigener Input bewirkt — eine Erkenntnis, die für jeden weiteren Prompt gilt.

5:58 Diese drei Punkte beschreiben denselben Konstruktionsfehler aus drei Blickwinkeln. Das Modell orientiert sich am stärksten Signal — und wenn das ein umfangreiches Produktdokument ist, schreibt es zu jedem Produktabschnitt etwas. Der Satz „ich will keinen Testplan" hilft dabei kaum, weil er nur sagt, was nicht sein soll. Ohne vorgegebene Struktur füllt das Modell die Lücke wieder mit dem, was es kennt.

6:21 Und das Ergebnis ist gefährlich gut lesbar: sauber gegliedert, flüssig formuliert — und trotzdem bleiben die eigentlichen Strategiefragen unbeantwortet. Vollständigkeit hat hier nichts mit Länge zu tun.

Die generierte Strategie schärfen

6:33 Wir haben jetzt einen Entwurf, der relevant ist, aber noch nicht trägt. Im letzten Kapitel geht es darum, wie aus diesem Entwurf ein Dokument wird, das Sie tatsächlich freigeben würden. Dafür brauchen wir zwei Dinge: einen Prompt, der Rolle, Kontext und erwartetes Ergebnis sauber trennt — und einen geschulten Blick für die Stellen, an denen erfahrungsgemäß nachgearbeitet werden muss.

6:54 Beides nehmen Sie über das Seminar hinaus mit. Rolle, Kontext, Ergebnis — diese drei Bausteine sind das Handwerkszeug für jeden ernsthaften Prompt, und sie begegnen uns im ganzen Seminar wieder. Die Rolle bestimmt die Perspektive und damit Tonfall und Detailtiefe. Der Kontext beantwortet: Welche Situation, welche Randbedingungen, welches Publikum?

7:16 Und das erwartete Ergebnis legt fest, wie die Antwort aussehen soll — bis hin zu den Abschnitten. Denken Sie an einen Auftrag an einen externen Dienstleister: Wer nur sagt „machen Sie mal was Gutes", bekommt etwas Beliebiges. Wer Rahmen und Lieferformat nennt, bekommt etwas Brauchbares. Worauf es bei diesem Prompt ankommt, ist die Abschnittsliste. Das ist der Unterschied zwischen „schreib mir eine Teststrategie" und einem verwertbaren Ergebnis.

7:44 Solange wir die Struktur offen lassen, orientiert sich das Modell am Produktdokument — und liefert eine Produktzusammenfassung. Sobald wir die Gliederung vorgeben, muss es zu jedem Abschnitt Stellung beziehen, auch zu den unbequemen wie Verantwortlichkeiten oder Testzyklus. Der zweite Kniff steht am Ende: das ausdrückliche Verbot von Testfällen und Feature-Beispielen. Und selbst das hält nicht immer — aber es hilft deutlich.

8:09 Diese Zusammenstellung ist keine Mängelliste, sondern eine Landkarte: Sie zeigt, wo bei einer generierten Strategie erfahrungsgemäß nachgearbeitet werden muss. Das Muster dahinter ist aufschlussreich. Überall dort, wo das Modell aus vielen Texten ein allgemeines Schema kennt, wird die Antwort ordentlich. Überall dort, wo es Ihr konkretes Projekt kennen müsste — welche Werkzeuge, welcher Zeitpunkt im Zyklus, welche Verantwortung — wird sie vage oder schlicht falsch.

8:36 Das ist keine Schwäche des Werkzeugs, sondern die Grenze seiner Erkenntnisquelle. Genau an diesen Stellen kommen Sie ins Spiel. Der rote Faden hier lautet: Prüfen Sie gegen Ihre Struktur, nicht gegen das Produktdokument. Sonst bewerten Sie am Ende, wie gut das Modell abgeschrieben hat. Interessant ist Schritt drei — die Lücken, die die KI im Anforderungsdokument aufdeckt.

8:58 Das ist oft der unterschätzte Hauptgewinn der ganzen Übung: Fragen, die vor der Strategie geklärt gehören. Bei Werkzeugen und Umgebungen dagegen sollten Sie selbst entscheiden; das Modell kennt weder Ihr Team noch Ihr Budget. Und am Ende steht eine Signatur — Ihre. Ein generiertes Dokument ohne benannte Verantwortung ist kein freigegebenes Dokument.

9:19 Suchen Sie sich den schwächsten Abschnitt Ihres Entwurfs — meist ist es die Automatisierung oder der Testzyklus. Die Fähigkeit, die Sie hier üben, ist der gezielte Folge-Prompt: nicht alles neu erzeugen, sondern präzise sagen, was an diesem Abschnitt fehlt und auf welche Flughöhe er gehört. Ihr Erfolgskriterium ist handfest: Danach beantwortet der Abschnitt Strategiefragen und enthält kein einziges Testfall-Beispiel mehr.

9:44 Wer noch Zeit hat, probiert den wirksamsten Trick überhaupt — eine bestehende, gute Strategie als Stilvorlage mitzugeben. Beispiele wirken stärker als Beschreibungen. Drei Fallen zum Schluss dieses Kapitels. Die erste betrifft Werkzeuge: Eine Empfehlung, die weder Team noch Stack noch Budget kennt, ist keine Empfehlung, sondern eine Aufzählung des Populären.

10:05 Die zweite ist eine Erwartungsfalle — ein einziger Prompt liefert nie ein freigabefähiges Dokument, und das ist auch nicht das Ziel. Das Ziel ist der kürzeste Weg dorthin. Und die dritte ist die ärgerlichste, weil hier echter Wert verloren geht: Die KI legt Lücken im Anforderungsdokument offen, und niemand klärt sie. Dann war die Analyse umsonst.

10:26 Fassen wir den Beitrag nüchtern zusammen. Die KI schafft in Minuten einen strukturierten Entwurf, sie spiegelt das Produktwissen zurück, das wir ihr geben, und — das ist der unterschätzte Punkt — sie legt offen, was in unseren eigenen Unterlagen fehlt. Das ist ein echter Gewinn, gerade beim Start. Was sie nicht leistet: die fachliche Verantwortung.

10:47 Ob die Strategie zu diesem Team, diesem Produkt und diesem Risiko passt, entscheidet die QA. Diese Arbeitsteilung ist kein Kompromiss, sondern das sinnvolle Modell — und sie wiederholt sich in jedem folgenden Modul.

Teststrategie mit GenAI

11:00 Die Kernerkenntnis dieses Moduls ist unspektakulär und trotzdem folgenreich: Die Qualität der Strategie folgt der Qualität von Kontext und Struktur. Wer beides liefert — Rolle, Kontext, erwartetes Ergebnis —, bekommt einen Entwurf, der einer Freigabe nahekommt. Wer nur fragt, bekommt Allgemeinplätze. Im nächsten Modul wenden wir dasselbe Prinzip eine Ebene tiefer an: bei Testfällen.

11:23 Dort werden wir sehen, dass generative KI mühelos vierzig Stück erzeugt — und dass die eigentliche Kunst darin besteht, daraus siebzehn brauchbare zu machen.