Retrieval: der Korpus

Retrieval — der Korpus

0:00 Jetzt kommt der Teil, an dem die meisten Projekte tatsächlich hängenbleiben — und er hat mit dem Modell so gut wie nichts zu tun. Retrieval ist zu neunzig Prozent Datenaufbereitung: Was nehme ich auf, wie schneide ich es, welche Angaben hänge ich daran, wer pflegt das Ganze? Wer diese vier Fragen sauber beantwortet, hat ein gutes Feature. Wer sie überspringt und dafür am Prompt feilt, wird die verlorene Qualität nie wieder einholen.

0:25 Deshalb widmen wir dem Korpus ein ganzes Modul, bevor wir überhaupt suchen.

Was Retrieval löst und was nicht

0:30 Fangen wir mit der Erwartungshaltung an. Retrieval kann eine Menge — und drei Dinge kann es ausdrücklich nicht. Diese Abgrenzung gehört an den Anfang, weil wir hier die teuerste Komponente des ganzen Features bauen und weil sich viele Projekte davon mehr versprechen, als sie halten kann. Danach wissen Sie, welche Probleme mit dem Korpus gelöst sind und welche Sie in den Modulen sechs, neun und zehn wiedersehen.

0:53 Die Idee ist einfach: Bevor Sie das Modell fragen, suchen Sie selbst die passenden Stellen aus Ihrem Bestand heraus und legen sie der Frage bei. Stellen Sie es sich vor wie einen Kollegen, dem Sie nicht nur die Frage zurufen, sondern gleich die drei richtigen Seiten aufgeschlagen hinlegen. Damit kennt das Modell Inhalte, die es nie gesehen hat, die Inhalte sind aktuell, und die Antwort lässt sich belegen. Das ist viel — und es ist weniger, als viele erwarten.

1:20 Die rechte Spalte ist die wichtigere, denn sie ist die Arbeitsliste für die nächsten Module. Retrieval verhindert nicht, dass ein Modell erfinden kann — es macht es nur seltener. Es löst keine Widersprüche im Bestand auf; die nehmen Sie mit hinein, und wir kommen in Modul sechs darauf zurück. Es regelt keine Berechtigungen — das machen wir noch in diesem Modul. Und es schützt nicht davor, dass unter richtigen Treffern der falsche ausgewählt wird.

1:46 Wer das weiß, baut anders, als wenn er Retrieval für die Lösung aller Probleme hält. Vier Fehler, die man fast immer am Anfang macht. Alles zu indizieren, was greifbar ist, und die Rechte hinterher filtern zu wollen — das ist wirkungslos, gleich mehr dazu. Retrieval einzubauen, bevor jemand die tatsächlichen Fragen kennt: Dann optimieren Sie auf eine Vermutung.

2:08 Bestandsdaten zu indizieren, die sich täglich ändern — die gehören in ein Werkzeug, nicht in einen Index. Und den Index einmal aufzubauen, ohne eine Zuständigkeit für die Pflege zu benennen. Der letzte Punkt ist der leiseste und der teuerste.

Was in den Index gehört

2:23 Damit zur ersten großen Entscheidung: Was nehmen wir überhaupt auf? Die Versuchung ist groß, einfach alles zu indizieren, was greifbar ist — es könnte ja nützlich sein. Sie werden gleich sehen, dass eine einzige Prüffrage die meiste Arbeit erledigt, und dass ausgerechnet das Material, das am wertvollsten aussieht, oft das gefährlichste ist.

2:43 Aktuell, verbindlich, einschlägig — das sind die drei Kriterien. Und die Prüffrage, die sie zusammenfasst, lautet: Würde ich diesen Absatz einer Werkstatt am Telefon vorlesen und dafür geradestehen? Das ist eine erstaunlich harte Frage. Sie schließt Entwürfe aus, Meinungen, interne Diskussionen, alles Vorläufige. Und sie schließt vor allem etwas aus, das sich zunächst wie wertvolles Material anfühlt: alte Handbuchfassungen.

3:10 Dazu gleich mehr, denn das ist der Fall, den fast jeder Bestand mitbringt. Die dritte Zeile ist die interessante. Abgelöste Handbuchfassungen sind der schlimmste Fall, den ein Index enthalten kann — und zwar aus einem Grund, den man sich klarmachen muss: Diese Inhalte waren einmal richtig. Sie sind fachlich sauber formuliert, stammen aus einer verlässlichen Quelle und wirken deshalb absolut glaubwürdig. Sie sind nur heute falsch.

3:36 Ein erfundener Wert fällt irgendwann auf; ein Wert aus dem Handbuch von 2018 fällt niemandem auf. Solche Fassungen gehören nicht in den Index, sondern ins Archiv.

Der Zuschnitt der Abschnitte

3:47 Jetzt zu der Stelle, an der über die Qualität mehr entschieden wird als bei jeder Einstellung, die Sie später drehen können: wie Sie die Dokumente in Stücke zerlegen. Der Zuschnitt bestimmt, ob eine Fundstelle für sich stehen kann oder ob sie ohne ihren Zusammenhang unbrauchbar wird. Fehler an dieser Stelle lassen sich durch keinen noch so guten Prompt reparieren — sie gehen in jede spätere Antwort ein.

4:09 Der naive Weg schneidet nach einer festen Zeichenzahl, und man sieht ihm die Folgen nicht sofort an. Tabellen werden mitten im Satz zerrissen. Der Warnhinweis landet in einem anderen Stück als der Arbeitsschritt, zu dem er gehört — bei einem Lastenrad ist das der Hinweis, dass eine Schraube nach dem Lösen ersetzt werden muss.

4:27 Isolierte Stücke verlieren die Angabe, für welche Baureihe sie gelten. Und ein Anzugsdrehmoment ohne seine Tabellenüberschrift ist schlicht eine Zahl ohne Bedeutung. Alle vier Fehler wirken sich auf jede spätere Antwort aus. Der bessere Weg folgt der Struktur des Dokuments statt einer Zeichenzahl. Bei Talwerk ist der Arbeitsschritt die natürliche Einheit — er ist das, was ein Mechaniker als Ganzes braucht. Tabellen und Warnhinweise bleiben bei ihrem Schritt.

4:54 Jedem Stück stellen wir seine Überschriftenkette voran, damit es auch isoliert weiß, woher es stammt. Sehr kurze Stücke hängen wir an den Nachbarn. Und dann Schritt fünf, der am häufigsten ausgelassen wird und die meisten Fehler findet: zwanzig zufällige Stücke lesen, bevor der Index gebaut wird.

Metadaten entscheiden über die Brauchbarkeit

5:11 Der Text allein reicht nicht. Was ein Textstück brauchbar macht, sind die Angaben drumherum: woher es stammt, für welche Baureihe es gilt, ob es noch aktuell ist und wer es sehen darf. Diese Angaben wirken wie Beiwerk, das man später ergänzen kann. Tatsächlich entscheiden sie über Trefferquote, Belegbarkeit und Rechte — also über drei der vier großen Themen dieses Seminars.

5:34 Sechs Angaben, und jede trägt etwas anderes. Handbuch und Fassung tragen den Beleg, den wir in Modul sechs unter jede Antwort setzen. Der Gültigkeitszeitraum lässt abgelöste Angaben erkennen. Baureihe und Baujahre sind der Filter, mit dem wir vor der Suche die Hälfte des Bestands ausschließen. Die Baugruppe kommt aus der Störungsmeldung, die wir im letzten Modul entworfen haben — hier greift die Kette zum ersten Mal ineinander.

6:00 Die Seitenzahl erlaubt den Sprung in die Quelle. Und die Sichtbarkeit regelt die Rechte. Der erste Punkt ist der, den ich Ihnen mitgeben möchte: Filtern vor der Suche bringt mehr als jede Verfeinerung des Suchverfahrens. Das ist unspektakulär, es klingt nach Datenbank statt nach KI — und es ist die wirksamste einzelne Maßnahme in diesem Modul.

6:21 Wer nach einer Frage zur Baureihe von 2019 sucht, will die Handbücher der anderen Baureihen gar nicht erst durchsuchen. Die übrigen drei Punkte sind Belegbarkeit, das gezielte Entfernen alter Fassungen und die Durchsetzung von Rechten. Metadaten sind kein Beiwerk. Sie sind das Gerüst.

Aktualität und Wiederaufbau

6:38 Ein Korpus ist kein Projekt mit einem Enddatum, sondern ein laufender Vorgang. Bei Talwerk erscheinen Nachträge, Baureihen laufen aus, Teilenummern werden ersetzt. Was das praktisch heißt, sehen wir uns jetzt an. Technisch ist es unaufwendig; organisatorisch ist es die Stelle, an der die meisten Features still verfallen, weil sich niemand zuständig fühlt.

7:00 Der Kern ist Schritt eins: Aus den Quelldateien entsteht der Index durch einen Befehl, nicht durch eine Reihe von Handgriffen, die nur einer kennt. Für Änderungen ist der vollständige Neuaufbau die einfachste Lösung — bei wenigen tausend Stücken dauert er Minuten und erspart Ihnen jede Buchführung über Teiländerungen. Halten Sie den Stand mit Datum fest. Und benennen Sie eine Person, die verantwortet, dass der Index den gültigen Stand abbildet.

7:25 Ohne diese Zuständigkeit veraltet der Bestand still, und das Feature wird über Monate unmerklich schlechter. Vier Fallen, und die zweite ist die häufigste in gewachsenen Beständen: Nachträge aufzunehmen, aber die alte Angabe stehen zu lassen. Damit haben Sie den Widerspruch im Index — und der begleitet uns bis in die Evaluierung. Der Aufbau von Hand ohne Dokumentation rächt sich beim ersten Personalwechsel.

7:49 Die fehlende Zuständigkeit hatten wir eben. Und der letzte Punkt ist technisch: Wer den Bezug für die Einbettungen wechselt, muss den Index neu bauen — sonst passen Fragen und Dokumente nicht mehr zusammen, ohne dass irgendetwas fehlschlägt.

Zugriffsrechte gehören in den Index

8:03 Kommen wir zu einem Punkt, bei dem die naheliegende Lösung nicht nur unelegant, sondern schlicht wirkungslos ist. Sobald Ihr Bestand Dokumente enthält, die nicht jeder sehen darf, wird die Berechtigung zur Entwurfsfrage — und zwar zu einer, die man nicht nachträglich anbauen kann. Wir schauen uns an, warum das Filtern der fertigen Antwort nichts bringt und wo der Filter stattdessen hingehört.

8:25 Der verbreitete Fehler geht so: Man indiziert alles und filtert die Antwort hinterher. Das ist wirkungslos, und der Grund ist einfach — die Information steckt zu diesem Zeitpunkt bereits im Prompt und damit in der Antwort. Sie können sie noch verstecken, aber Sie haben sie längst übertragen. Richtig ist, die Berechtigung als Metadatum zu führen und die Suche schon vor dem Modellaufruf einzuschränken.

8:47 Bei Talwerk trennt das Vertragswerkstätten mit erweiterten Anleitungen von freien Werkstätten mit den allgemeinen Handbüchern. Achten Sie auf eine Kleinigkeit mit großer Wirkung: Die Rollen kommen aus der Sitzung. Kein einziger Wert in diesem Filter stammt aus einer Modellausgabe, und das ist kein Zufall, sondern Prinzip.

9:06 Wir werden diesen Gedanken in Modul zehn noch einmal ausführlich behandeln — er lautet: Das Modell hat keine Rechte, der Code hat Rechte. Hier sehen Sie die erste Anwendung. Der Filter steht vor der Suche, nicht dahinter, und er wird von Code gesetzt, den kein Prompt beeinflussen kann.

Aus vierzehn Handbüchern wird ein Korpus

9:23 Zum Abschluss der praktische Teil: wie aus vierzehnhundert Seiten PDF ein brauchbarer Bestand wird. Die Schritte sind unspektakulär — Text extrahieren, aufräumen, schneiden, beschriften. Genau deshalb ist der letzte Schritt so wichtig und wird trotzdem am häufigsten ausgelassen. Ich verrate schon jetzt, welcher es ist: der, bei dem Sie selbst lesen, was Ihre Maschine produziert hat.

9:47 Text extrahieren, Kopf- und Fußzeilen entfernen, Tabellen erkennen und zusammenhalten, nach Arbeitsschritten schneiden, Überschriftenkette und Metadaten anhängen. Vier Schritte solides Handwerk. Und dann Schritt fünf, über den ich noch einmal sprechen möchte: zwanzig Stücke mit dem Auge prüfen. Das dauert zehn Minuten, es fühlt sich nach verlorener Zeit an, und in aller Regel finden Sie dabei einen systematischen Fehler in der Aufbereitung.

10:12 Ein Fehler an dieser Stelle geht in jede spätere Antwort ein — und lässt sich durch keinen Prompt reparieren. Damit sind Sie dran. Bauen Sie den Korpus so auf, dass jede Fundstelle für sich stehen kann und ihre Herkunft kennt. Erfolgreich sind Sie, wenn kein Stück eine Tabelle zerreißt, die Metadaten vollständig sind und Ihre Stichprobe von zwanzig Stücken keinen systematischen Fehler zeigt.

10:35 Und falls Sie doch einen finden: Umso besser. Sie haben dann die Aufgabe besonders gut gelöst, denn dieser Fehler wäre sonst in jede Antwort der nächsten Monate eingegangen. Im nächsten Modul suchen wir dann in dem, was Sie hier gebaut haben.