Retrieval: Finden

Retrieval — Finden

0:00 Der Bestand steht — jetzt geht es darum, darin das Richtige zu finden. Dieses Modul enthält den größten einzelnen Qualitätssprung, den Sie in einem Retrieval-Feature erreichen können, und er hat nichts mit dem Sprachmodell zu tun. Er besteht darin, zwei Suchverfahren nebeneinander zu betreiben statt eines. Außerdem klären wir eine Frage, die viele zu spät stellen: Woran erkennt man eigentlich, ob die Suche gut ist — unabhängig davon, ob die Antwort gut ist?

Einbettungen in einem Absatz

0:27 Ein wenig Theorie, aber wirklich nur so viel, wie für die Praxis nötig ist. Sie müssen nicht verstehen, wie Einbettungen mathematisch entstehen — Sie müssen wissen, was sie gut können und wo sie zuverlässig danebenliegen. Drei Minuten, dann haben Sie genug Grundlage, um die Entscheidungen der nächsten Kapitel zu treffen.

0:45 Und Sie werden sehen: Die wichtigste dieser Entscheidungen folgt direkt aus einer Schwäche des Verfahrens. Eine Einbettung übersetzt Text in eine Liste von Zahlen, die seine Bedeutung so abbildet, dass ähnliche Texte nahe beieinanderliegen. Stellen Sie es sich wie eine Landkarte vor, auf der nicht Orte, sondern Bedeutungen eingetragen sind: Was inhaltlich zusammengehört, liegt beieinander.

1:07 Deshalb findet die Frage nach einem knirschenden Geräusch beim Treten auch den Abschnitt über das Tretlagerspiel — in dem weder knirschen noch treten vorkommt. Das ist die Stärke des Verfahrens, und gleich sehen wir seine Schwäche. Drei Dinge folgen daraus für Ihre Arbeit. Frage und Dokument müssen vom selben Einbettungsmodell stammen — sonst sprechen sie verschiedene Sprachen.

1:29 Ein Wechsel dieses Modells erzwingt den vollständigen Neuaufbau des Index; das ist kein Update, das ist eine Migration. Und der wichtigste Punkt: Ähnlichkeit misst Nähe, nicht Richtigkeit. Ein Stück kann der Frage sehr ähnlich sein und trotzdem die falsche Baureihe betreffen. Deshalb tragen Metadaten und Filter die Qualität — nicht die Ähnlichkeit allein.

Warum Vektorsuche bei Teilenummern versagt

1:52 Und jetzt zu dieser Schwäche, die in technischen Beständen keine Randerscheinung ist, sondern die Mehrheit der Anfragen betrifft. Es geht um Bezeichner — Teilenummern, Fehlercodes, Baujahre. Ausgerechnet bei den Angaben, wegen derer eine Werkstatt anruft, arbeitet die Ähnlichkeitssuche gegen die Fachlichkeit. Wer das nicht weiß, baut ein System, das im Test überzeugt und im Betrieb enttäuscht.

2:16 Bei Bezeichnern arbeitet die Ähnlichkeitssuche gegen Sie. Zeichenketten, die einander ähneln, liegen nah beieinander — für die Bedeutung ist das richtig, für das Ersatzteil ist es fatal. Eine Werkstatt fragt nach TW-4471-B und bekommt Abschnitte über TW-4471-A. Das ist kein Tippfehler des Systems, das ist das Verfahren, das genau so arbeitet, wie es soll.

2:39 Betroffen sind Teilenummern, Fehlercodes, Normbezeichnungen, Drehmomente und Baujahre — also fast alles, was in einer technischen Auskunft zählt. Vier Beispiele, die alle dasselbe Muster haben: Der Treffer ist inhaltlich nah und praktisch falsch. Das Baujahr 2018 statt 2019 bedeutet eine andere Bremsanlage. Der Fehlercode E-13 statt E-12 bedeutet eine andere Ursache. Und achtzehn Newtonmeter aus einer anderen Baugruppe sind schlicht der falsche Wert an der falschen Schraube.

3:11 Halten Sie sich vor Augen, was das für Ihr Feature bedeutet: Es glänzt bei allgemeinen Fragen und versagt bei genau den Fragen, wegen derer die Werkstatt anruft.

Hybride Suche

3:21 Die Lösung ist erfreulich unaufwendig, und sie ist der Grund, warum ich dieses Kapitel für das wichtigste des ganzen Moduls halte. Statt sich zwischen Bedeutung und Wortlaut zu entscheiden, betreiben wir beide Suchen nebeneinander und führen die Ergebnisse zusammen. Der Gewinn ist in technischen Beständen größer als bei jedem Modellwechsel — und der Aufwand beträgt einige Stunden, einmalig.

3:43 Sie betreiben beide Suchen nebeneinander: die Ähnlichkeitssuche für die Bedeutung, eine klassische Stichwortsuche für den Wortlaut. Beide liefern eine Trefferliste, und die verschmelzen Sie zu einer. Wichtig ist dabei ein Detail: Verschmelzen Sie über die Ränge, nicht über die Punktzahlen. Die Punktzahlen beider Verfahren liegen auf völlig verschiedenen Skalen, ein Vergleich ist sinnlos. Die Metadatenfilter kommen vorher zum Einsatz, nicht hinterher.

4:09 Und am Ende messen Sie gegen den Goldstandard, statt sich auf das Gefühl zu verlassen. Vier Gründe, und der dritte ist der, den ich Ihnen ans Herz lege: Wenn Sie die hybride Suche später nachrüsten, orientieren sich alle Bewertungen bis dahin an einem künstlich schlechten Ausgangspunkt. Sie optimieren dann am Prompt herum, um eine Schwäche auszugleichen, die eine Zeile Suchlogik behoben hätte.

4:32 Dazu kommt: Der Gewinn ist größer als bei jedem Modellwechsel, der Aufwand ist gering und einmalig, und die Fehlerbilder der beiden Verfahren ergänzen sich fast perfekt. Selten ist eine Entscheidung so einfach.

Neuordnung der Treffer

4:45 Nach der Suche haben Sie zu viele Kandidaten und zu wenig Platz im Prompt. Wie aus dreißig möglichen Fundstellen die richtigen fünf werden, ist die Frage dieses Kapitels. Die Antwort kostet Zeit und Geld, und sie lohnt sich trotzdem fast immer — weil die Auswahl die Antwortqualität stärker bestimmt als jede Formulierung im Prompt.

5:03 Die Neuordnung bewertet jeden Kandidaten noch einmal gegen die konkrete Frage und sortiert danach. Das kostet Zeit und Geld — und lohnt sich in aller Regel trotzdem. Der Grund liegt in einer Einsicht, die ich Ihnen ans Herz legen möchte: Die Qualität der Antwort hängt stärker davon ab, welche fünf Stücke im Prompt stehen, als davon, wie geschickt der Prompt formuliert ist.

5:23 Wenn Sie also zwischen einer Stunde Prompt-Feinschliff und einer Stunde Arbeit an der Auswahl wählen müssen — nehmen Sie die Auswahl. Vier Fallen, und die erste ist eine Kostenfrage: Alle dreißig Kandidaten neu zu bewerten, obwohl die Rangfolge oben ohnehin klar ist. Beschränken Sie die Neuordnung auf die Fälle, in denen die Ergebnisse dicht beieinanderliegen — das ist genau die Situation, in der die Auswahl schwerfällt.

5:48 Die zweite Falle ist die Reihenfolge: erst messen, dann neu ordnen. Die dritte betrifft das Zeitbudget, das viele vergessen. Und die vierte: Wer die Ergebnisse nicht protokolliert, erfährt nie, ob die Neuordnung überhaupt etwas gebracht hat.

Wie viele Fundstellen in den Prompt gehören

6:03 Eine Frage, die naheliegend erscheint, und deren Antwort die meisten überrascht: Mehr Kontext ist nicht besser. Die Neigung, möglichst viel beizulegen, ist verständlich — es könnte ja das Entscheidende dabei sein. Wir schauen uns an, was diese Großzügigkeit kostet, ab wann sie der Qualität schadet und wie Sie die richtige Zahl finden, ohne zu raten.

6:23 Die Neigung, möglichst viel beizulegen, ist verständlich — schließlich könnte ja das Entscheidende dabei sein. Der Preis dafür ist dreifach. Mehr Kontext heißt mehr Kosten und mehr Latenz, das ist offensichtlich. Weniger offensichtlich: Ab einem gewissen Punkt geht die entscheidende Stelle zwischen vielen ähnlichen unter.

6:42 Und mit der Zahl der Treffer steigt die Wahrscheinlichkeit, dass sich zwei beigelegte Stücke widersprechen. Wie viele es sein sollen, weiß niemand vorab — das ist eine Messung, keine Meinung. Fünf Punkte, und Punkt zwei ist die Brücke ins nächste Modul: Jedes Stück wird mit seiner Herkunft eingeleitet — Handbuch, Fassung, Seite.

7:02 Ohne diese Angabe je Stück ist der Beleg unter der Antwort schlicht nicht möglich. Halten Sie die Reihenfolge stabil, sonst schwanken die Antworten ohne Grund. Erlauben Sie in der Anweisung ausdrücklich, unpassende Stellen zu verwerfen — sonst versucht das Modell, aus allem etwas zu machen, was Sie ihm hinlegen. Und optimieren Sie die Zahl gegen den Goldstandard.

Retrieval getrennt messen

7:24 Jetzt eine Kennzahl, die billig zu haben ist und die Sie vor wochenlangem Herumraten bewahrt. Sie beantwortet eine Frage, die man sonst nur im Gefühl beantwortet: Lag es daran, dass die richtige Stelle gar nicht dabei war — oder daran, dass sie dabei war und falsch benutzt wurde? Diese Unterscheidung ist der Unterschied zwischen gezielter Arbeit und Herumprobieren.

7:44 Wenn Ihr Feature schlechte Antworten liefert, gibt es genau zwei Möglichkeiten: Die richtige Stelle war nicht dabei, oder sie war dabei und wurde falsch benutzt. Das sind völlig verschiedene Baustellen — und wer sie nicht trennt, dreht abwechselnd an beiden und wundert sich, dass nichts besser wird. Die Trefferquote des Retrievals misst, wie oft das Stück mit der Antwort unter den beigelegten Treffern war.

8:06 Sie braucht kein Modell, kostet fast nichts, und sie ist die erste Zahl, die Sie über Ihr Feature kennen sollten. Drei Fälle, drei völlig verschiedene Arbeitsaufträge. Ist die Trefferquote niedrig, arbeiten Sie am Schnitt, an den Metadaten und an der hybriden Suche — jede Minute am Prompt wäre verschwendet. Ist sie hoch und die Antworten trotzdem schlecht, liegt es an Anweisung, Schema oder Modell.

8:30 Ist beides schlecht, gehen Sie zuerst an das Retrieval, weil alles andere darauf aufbaut. Diese kleine Tabelle spart im Projektalltag mehr Zeit als jedes Werkzeug.

Wenn Retrieval die falsche Antwort ist

8:41 Zum Schluss noch einmal die Frage nach der Abgrenzung. Bei der teuersten Komponente, die wir bauen, lohnt sie sich besonders — und sie fällt am Ende dieses Moduls leichter als am Anfang, weil Sie jetzt wissen, was Retrieval kann. Vier Fälle sehen wir uns an, in denen ein Index die falsche Antwort ist und etwas Einfacheres besser funktioniert.

9:00 Vier Fälle, in denen Retrieval das falsche Werkzeug ist. Bestandsdaten zu indizieren, die am Tag nach dem Aufbau falsch sind — das ist eine Abfrage, keine Suche, und gehört ins Werkzeug. Berechnungen gehören in Code, nicht in eine Fundstelle. Wenn der ganze Bestand in den Prompt passt, ist eine Suche überflüssige Mechanik.

9:19 Und wenn Nutzer ohnehin nach exakten Bezeichnern suchen, ist eine gewöhnliche Suchmaske ehrlicher als ein Assistent — schneller ist sie auch. Damit sind Sie dran, und diesmal geht es um Zahlen statt um Gefühl. Notieren Sie zu zwanzig Fragen die erwartete Fundstelle, messen Sie die Trefferquote der reinen Vektorsuche, bauen Sie die hybride Suche und messen Sie erneut.

9:41 Der Unterschied soll am Ende als Zahl auf dem Tisch liegen, nicht als Eindruck. Achten Sie darauf, dass mindestens fünf der zwanzig Fragen eine Teilenummer enthalten — sonst messen Sie genau den Fall nicht, um dessentwillen wir das ganze Kapitel gemacht haben.