Der Spickzettel zum Seminar GenAI für Testing, QA und Code Review — die Einordnungen, die man im Alltag braucht, wenn Testmaterial aus einem Modell kommt und trotzdem belastbar sein soll.
Wo GenAI ansetzt
Die Unterstützung beginnt nicht erst beim Testlauf.
| Phase | Unterstützung durch GenAI |
|---|---|
| Planung | Teststrategie aus Produktinfos und Ressourcen entwerfen |
| Anforderungen | Ambiguitäten, Edge Cases und Lücken aufdecken |
| Vorbereitung | Testfälle, explorative Pfade und Testdaten erzeugen |
| Implementierung | Tests im Browser fahren, Skripte schreiben und reviewen |
| Release | Regressionskandidaten wählen, Risiko und Bericht erstellen |
| Learning | Fehlschläge, Coverage-Lücken und Nutzerfeedback analysieren |
Wo das Risiko besonders wiegt
| Kontext | Warum kritisch |
|---|---|
| Komplexe Systeme | Viele Abhängigkeiten, Fehler wirken indirekt |
| Medizin, Finanzen & Co. | Regelwissen fehlt oder ist veraltet |
| Missionskritische Systeme | Ausfall hat unmittelbare reale Folgen |
Modul: GenAI im Softwaretest
Testfälle erzeugen
Der Gewinn liegt in den Iterationen, nicht im ersten Treffer:
| Schritt | Ergebnis |
|---|---|
| Erster Prompt | Breite Abdeckung, aber redundant und annahmelastig |
| Gruppieren | Deutlich weniger Fälle bei gleicher Abdeckung |
| Format vorgeben | Direkt importierbar ins Testmanagement-Tool |
| Coverage-Matrix | Sichtbar, welches Kriterium wie gedeckt ist |
| Aspekt | Aus Anforderungen | Aus Exploration |
|---|---|---|
| Grundlage | Story, Kriterien, PRD | Laufende Anwendung |
| Detailgrad | Hoch und präzise | Gröber, dafür real |
| Stärke | Vollständige Kriterienabdeckung | Findet Ungeschriebenes |
| Risiko | Erfundene Testdaten | Ohne Scope läuft es aus dem Ruder |
Prompt-Gerüst gegen erfundene Details — explizite Verbote wirken besser als der Hinweis „bitte korrekt”:
Rolle: Senior QA Engineer für eine Web-Anwendung.
Kontext: Nutze ausschließlich die User Story und den DOM-Auszug im
Anhang. Erfinde keine Felder oder Selektoren; markiere
Lücken als OFFEN.
Ergebnis: Testfälle mit Titel, Vorbedingung, Schritten, Testdaten und
Erwartung — positive und negative Fälle getrennt.Module: Testfälle mit GenAI · Teststrategie mit GenAI
Testebenen
| Ebene | Grundlage für die KI | Typischer Aufwand |
|---|---|---|
| Unit | Quellcode einzelner Funktionen | Gering, sehr schnell grün |
| Integration | Fluss über mehrere Schichten | Setup einmalig, dann leicht |
| End-to-End | Laufende Anwendung im Browser | Höchster, dafür nutzernah |
Modul: Testautomatisierung beschleunigen
Nichtfunktionale Tests
| WCAG-Stufe | Anspruch | Beispiel |
|---|---|---|
| A | Mindestkonformität | Eingabefeld hat ein verknüpftes Label |
| AA | Üblicher Zielwert | Tastaturfokus ist deutlich sichtbar |
| AAA | Strengste Anforderungen | Kontrast von 7:1 bei normalem Text |
Wer AA anstrebt, muss A vollständig miterfüllen. Screenreader-Tests bleiben manuell — die Liste der offenen manuellen Prüfungen gehört deshalb eingefordert.
| Sprache | Worauf zu achten ist |
|---|---|
| Deutsch | Dezimalkomma, längere Labels, Validierungsmeldungen |
| Japanisch | Textdarstellung, Sucheingabe, Tabellenlayout |
| Arabisch | Rechts-nach-links, Feldreihenfolge, Icons, Mischtexte |
Modul: Nichtfunktionale Tests mit GenAI
Code Review
| Instanz | Zuständig für |
|---|---|
| Deterministische Werkzeuge | Format, Stil, bekannte Schwachstellen, Testlage |
| KI-Review | Zusammenfassung, fehlende Tests, riskante Sonderfälle |
| Autor | Kontext im PR-Text, offensichtliche Korrekturen |
| Mensch im Review | Design, Fachlogik, Wartbarkeit, Release-Risiko |
| Priorität | Inhalt |
|---|---|
| Blocker | Neu eingeführte Sicherheitslücke, verwundbares Produktionspaket |
| Priorität 2 | Zu aktualisierende Pakete ohne akutes Risiko |
| Priorität 3 | Linter-Fehler und Warnungen, nach Schwere sortiert |
Der Blocker-Entscheid ist ein Vorschlag, keine Freigabeentscheidung. Und die KI führt die Prüfung nicht selbst durch — sonst wären die Befunde nicht reproduzierbar; sie liest die Berichte der Werkzeuge und gleicht sie mit dem Diff ab.
Modul: Code Review & Qualitätsstandards
Triage und Berichte
| Vorschlagen | Nicht selbst entscheiden |
|---|---|
| Schweregrad mit Begründung | Schweregrad im Ticket ändern |
| Komponente, Risikoart, Owner | Zuweisung verbindlich setzen |
| Dublettenkandidaten mit Belegen | Meldungen als Dublette schließen |
| Fehlende Angaben benennen | Meldung ohne Rückfrage verwerfen |
| Rohwert | Aussage im Bericht |
|---|---|
| 87 fehlgeschlagene Tests | Fehler häufen sich im Checkout; 23 durch Auth-Timeout |
| Coverage-Prozentwert | Welche Akzeptanzkriterien belegt sind — und welche nicht |
| Liste offener Defekte | Welche davon das Release tatsächlich blockieren |
Modul: Qualitätsberichte mit GenAI
Typische Fallen
- Ohne Produktkontext erfindet die KI Features, die es gar nicht gibt.
- Generierte Sätze wirken vollständig, decken aber selten alle Akzeptanzkriterien ab. Ohne Coverage-Matrix fällt das nicht auf.
- Umformulierte Akzeptanzkriterien brechen still das Mapping.
- „Du hast recht” ist keine Korrektur — die Ursache bleibt unentdeckt.
- Selbstsichere Formulierung wird leicht mit Verlässlichkeit verwechselt.
- Zwei Läufe mit demselben Prompt liefern unterschiedliche Abdeckung.
- Ohne Scope im Prompt erkundet der Agent die komplette Anwendung.
- Ohne Reset des Ausgangszustands ist ein E2E-Lauf nicht wiederholbar.
- Ein bestandener Fuzz-Lauf beweist keine Korrektheit, nur keinen Fund.
- Grüne Tests sagen nichts über die fachliche Güte der Erwartungen.
- Coverage allein belegt keine Qualität — erst die Kombination der Signale.
- Ohne Regeldatei kommentiert der Review-Bot nach allgemeinen Annahmen und erzeugt Rauschen.
- Befehle, die Fehler schlucken, machen jedes Quality Gate wirkungslos.
- Fehlermeldungen enthalten Logs, Screenshots, Tokens — nur freigegebene Werkzeuge nutzen.