Antworten mit Belegen

Antworten mit Belegen

0:00 In diesem Modul verwandelt sich das Feature. Bis hierher haben wir ein System gebaut, dem man glauben muss. Jetzt bauen wir eines, das eine Stelle zitiert und sie auffindbar macht. Das ist ein Unterschied wie zwischen einem Ratgeber und einem Nachschlagewerk — und er entscheidet darüber, ob Ihre Kollegin an der Hotline dem System eine Werkstatt anvertraut oder lieber selbst nachsieht.

0:21 Nebenbei werden die Antworten dadurch besser, und am Ende des Moduls haben wir einen Fall gefunden, der uns bis in die Evaluierung begleitet.

Der Beleg ist Bestandteil der Antwort

0:29 Beginnen wir mit einer Festlegung, die viele für Kür halten und die in Wirklichkeit zur Pflichtausstattung gehört, sobald eine Antwort Folgen hat. Es geht darum, ob der Beleg ein Anhängsel ist, das man später ergänzt, oder ein Bestandteil der Ausgabe. Sie werden sehen: Die Entscheidung dafür verbessert nicht nur die Nachvollziehbarkeit, sondern nebenbei auch die Antworten selbst.

0:51 Der Beleg gehört ins Schema, nicht in eine Fußzeile: zu jeder Aussage die Quelle mit Handbuch, Fassung und Seite. Denken Sie an den Unterschied zwischen einem Kollegen, der sagt „achtzehn Newtonmeter", und einem, der sagt „achtzehn Newtonmeter, Handbuch Baureihe C, Nachtrag von 2023, Seite 114". Beim ersten müssen Sie vertrauen, beim zweiten können Sie nachsehen.

1:13 Und genau das braucht die Mitarbeiterin an der Hotline, bevor sie eine Werkstatt losschickt — die Möglichkeit, in zehn Sekunden selbst nachzuschauen. Vier Wirkungen, und die zweite ist die überraschende: Die Belegpflicht verbessert die Antworten selbst. Sie bindet das Modell an den beigelegten Text, statt es aus seinem allgemeinen Weltwissen schöpfen zu lassen — und dieses Weltwissen ist bei einem Lastenradhersteller schlicht nicht zuständig.

1:39 Dazu kommen die anderen drei: Aus Glauben wird Nachsehen, Fehler werden auffindbar statt nur spürbar, und Lücken im Bestand werden sichtbar, statt überspielt zu werden. Die Belegpflicht ist damit gleichzeitig Qualitätsmaßnahme und Diagnosewerkzeug. Diese drei Zeilenpaare beschreiben denselben Vorgang aus zwei Welten. Mir ist die dritte die liebste: Ohne Beleg bleibt eine Lücke im Bestand für immer unsichtbar, denn das Modell füllt sie ja irgendwie.

2:05 Mit Belegpflicht wird sie gemeldet — und plötzlich haben Sie eine Liste der Stellen, an denen Ihre Dokumentation tatsächlich schweigt. Das ist ein Nebenprodukt, für das manches Unternehmen viel Geld ausgeben würde. Halten Sie also fest: Der Beleg ist kein Zusatz für Fortgeschrittene, sondern Bestandteil der Ausgabe.

Zitate technisch verankern

2:24 Jetzt wird es technisch, und zwar an einer Stelle, die auf den ersten Blick niemand für kritisch hält: Wie verlässlich ist eigentlich der Beleg selbst? Denken Sie kurz nach — wenn ein Modell eine Teilenummer erfinden kann, was hindert es an einer erfundenen Seitenzahl? Wir schauen uns an, wie aus einer Behauptung ein überprüfbarer Verweis wird und was das im Code bedeutet.

2:45 Denken Sie kurz nach: Wenn das Modell eine Teilenummer erfinden kann — was hindert es daran, eine Seitenzahl zu erfinden? Nichts. Ein frei formulierter Beleg ist selbst wieder eine Behauptung, und zwar eine besonders gefährliche, weil sie Sicherheit ausstrahlt. Belastbar wird er erst, wenn er auf die Stelle im übergebenen Dokument zurückzeigt und diese Zuordnung überprüfbar ist.

3:06 Die APIs bieten dafür eine Zitierfunktion an, die Textstellen aus den mitgegebenen Dokumenten markiert und mit ihrer Position versieht. Fünf Schritte, und der entscheidende ist der vierte. Übergeben Sie die Fundstellen als Dokumente, nicht als Fließtext. Nutzen Sie die Zitierfunktion — oder prüfen Sie eben selbst, ob das zitierte Textstück wörtlich im Stück vorkommt; diese Prüfung ist billig und deckt erstaunlich viel auf.

3:33 Und dann der vierte Schritt: Eine Antwort ohne auffindbaren Beleg gilt als ungültig. Nicht nach menschlichem Ermessen, sondern automatisch. Wer diese Regel weich macht, hat sie nicht. Die Quote ungültiger Belege gehört übrigens ins Protokoll. Vier Fallen. Den Beleg frei formulieren zu lassen und nie nachzuprüfen ist die erste — und sie ist die verbreitetste, weil das Ergebnis so ordentlich aussieht.

3:57 Nur die Seitenzahl zu führen, ohne Handbuch und Fassung, macht den Beleg in einem Bestand mit vierzehn Handbüchern wertlos. Zitate so weit zu kürzen, dass sie im Original nicht mehr auffindbar sind, hebelt die automatische Prüfung aus. Und die Prüfung nur im Testlauf zu machen, nicht im Betrieb, verlagert das Problem genau dorthin, wo es weh tut.

Die erwünschte Verweigerung

4:17 Kommen wir zu einer Antwort, die sich für alle Beteiligten wie ein Misserfolg anfühlt und trotzdem das Kennzeichen eines guten Systems ist: dem offenen Eingeständnis, dass etwas nicht in den Unterlagen steht. Technisch ist das schnell eingebaut. Schwierig wird es bei der Bewertung, denn der Druck, die Verweigerungsquote zu senken, entsteht sofort — und ihm muss man mit Zahlen begegnen.

4:39 Ein Feature, das immer antwortet, ist wertlos — denn wenn es nie „ich weiß es nicht" sagt, können Sie keiner einzigen Antwort trauen. Die Verweigerung muss also ausdrücklich erlaubt sein, im Schema vorgesehen und in der Auswertung erwünscht. In der Praxis scheitert das selten an der Technik und fast immer an der Bewertung: Sobald die erste Statistik auf dem Tisch liegt, entsteht sofort der Druck, die Verweigerungsquote zu senken.

5:03 Dagegen hilft nur eines — die Kennzahlen von Anfang an getrennt zu führen. Und hier ist der Grund, warum die Trennung funktioniert: Bei Talwerk lässt sich beziffern, was jede Zeile kostet. Eine Verweigerung kostet einen Rückruf — ein paar Minuten Arbeitszeit. Eine falsche Antwort kostet eine Anfahrt, dazu einen verärgerten Kunden.

5:23 Wenn Sie diese beiden Zahlen nebeneinanderlegen, ist die Diskussion beendet: Zehn Verweigerungen sind billiger als eine falsche Auskunft. Suchen Sie in Ihrem eigenen Projekt nach dieser Zahl. Sie ist das beste Argument, das Sie in dieser Debatte haben werden.

Was Belege leisten und was nicht

5:39 Nach so viel Lob für die Belegpflicht jetzt ihre Grenzen. Drei Fehlerarten überleben jedes Zitat, und alle drei sehen in der Einzelantwort völlig korrekt aus. Ich behandle sie ausführlich, weil sie erklären, warum das Evaluierungsmodul in diesem Seminar nicht am Rand steht, sondern in der Mitte — sie sind nämlich nur an einer Menge von Fällen überhaupt zu erkennen.

5:59 Diese vier Fehler sehen in der Einzelantwort völlig korrekt aus. Die falsche Auswahl: sauber zitiert, aber aus der falschen Baureihe. Der falsche Schluss: richtig zitiert, und die Folgerung steht so nicht da. Die Auslassung: Der Warnhinweis zwei Absätze weiter fehlt, und niemand vermisst ihn, weil niemand weiß, dass es ihn gibt.

6:19 Und der vierte ist der psychologische: Ein Beleg wirkt so solide, dass niemand mehr prüft. Die Belegpflicht kann also auch Vertrauen erzeugen, das sie nicht deckt. Gegen alle drei Fehlerarten hilft kein Zitat, keine bessere Anweisung und kein größeres Modell. Sie treten selten auf, fallen im Alltag nicht auf und lassen sich in einer Einzelantwort nicht erkennen — nur an einer Menge von Fällen.

6:43 Genau dafür bauen wir in Modul neun den Goldstandard. Ich sage das hier so deutlich, weil das Evaluierungsmodul auf dem Seminarplan wie ein Anhängsel aussieht. Es ist das Gegenteil: Es ist die einzige Stelle, an der diese drei Fehlerarten überhaupt sichtbar werden.

Darstellung in der Oberfläche

6:59 Ein kurzes, sehr praktisches Kapitel über die Oberfläche — und eines, in dem nebenbei etwas entsteht, das wir in Modul neun dringend brauchen. Denn ein Beleg, den niemand anklickt, hat seinen Zweck verfehlt, und eine Rückmeldung, die niemand einsammelt, ist verloren. Beides hängt an wenigen Entscheidungen im Entwurf der Anzeige.

7:19 Ein Beleg, den niemand anklickt, hat seinen Zweck verfehlt. Deshalb: die Quelle am Satz zeigen, nicht als Liste am Ende. Ein Klick öffnet die Handbuchstelle mit hervorgehobener Passage. Antworten ohne Beleg sehen sichtbar anders aus. Und dann die beiden letzten Punkte, die technisch klein und strategisch groß sind: Rückmeldung direkt an der Antwort einsammeln, und aus einer schlechten Antwort mit einem Klick einen Testfall machen.

7:43 Diese Rückmeldungen aus echten Gesprächen sind später wertvoller als jede am Schreibtisch erdachte Testfrage.

Widersprüchliche Quellen

7:50 Zum Abschluss der Fall, den jeder gewachsene Dokumentenbestand mitbringt und den man nicht wegprogrammieren kann: zwei Quellen, die einander widersprechen. Er begleitet uns von hier bis in die Evaluierung, wo er zum absichtlich roten Testfall wird. Sehen wir uns an, wie er entsteht, wie ein Modell damit umgeht und was die richtige Reaktion darauf ist.

8:10 Bei Talwerk nennt das Handbuch der Baureihe von 2021 ein Anzugsdrehmoment, das ein Nachtrag von 2023 stillschweigend korrigiert — ohne die alte Angabe zu entfernen. Beide Stücke sind im Index, beide sind fachlich sauber, beide gehören dahin. Legen Sie einem Modell beide vor, wählt es eines aus, meist das zuerst genannte, und erwähnt den Konflikt mit keinem Wort. Das ist kein Versagen des Modells.

8:35 Es ist die Aufgabe, so wie wir sie gestellt haben: Es soll antworten, also antwortet es. Vier Stufen, und die Reihenfolge ist wichtig. Erkennen Sie Widersprüche im Korpus und beheben Sie sie dort, wo es geht — das ist die eigentliche Lösung. Machen Sie die verbleibenden über Metadaten entscheidbar: die neuere Fassung hat Vorrang. Für den Rest weisen Sie das Modell an, den Widerspruch zu benennen, statt zu wählen.

9:01 Und dann Schritt vier: Nehmen Sie den Fall als Testfall auf, statt ihn wegzuprompten. Denn der eigentliche Fehler sitzt im Korpus. Der Prompt kann ihn nur sichtbar machen. Damit sind Sie dran. Sorgen Sie dafür, dass jede Antwort Handbuch, Fassung und Seite trägt und dass ein nicht auffindbares Zitat automatisch zur Ungültigkeit führt — automatisch, nicht nach Ermessen.

9:24 Und dann der Drehmoment-Fall: Er soll als Widerspruch gemeldet werden, nicht entschieden. Wenn das nicht auf Anhieb klappt, ist das kein Problem. Der Fall darf rot bleiben; in Modul neun ist er sogar ausdrücklich erwünscht. Vorher bauen wir dem Feature allerdings noch Hände an — im nächsten Modul darf es handeln.