Kosten, Latenz und Betrieb

Kosten, Latenz und Betrieb

0:00 Zum Abschluss der Teil, der über die Frage entscheidet, ob Ihr Feature den zweiten Winter erlebt. Es geht um Geld, um Wartezeiten und um die Frage, ob Sie im Fehlerfall überhaupt rekonstruieren können, was passiert ist. Sie werden sehen, dass die wirksamsten Hebel nicht dort liegen, wo man sie vermutet: Die Kosten stecken meist in der Eingabe, nicht in der Antwort.

0:20 Und die Latenz liegt oft gar nicht beim Modell, sondern bei einer trägen Datenbankabfrage in einem Werkzeug.

Was ein Aufruf kostet

0:27 Fangen wir mit der Rechnung an — und mit der Frage, welche Größe man überhaupt rechnen sollte. Denn der Preis je Aufruf, den die Preisliste nennt, ist nicht die Zahl, mit der Sie planen können. Wir schauen uns an, wo bei einem Retrieval-Feature die Kosten tatsächlich entstehen, und Sie werden sehen: Es ist nicht dort, wo die meisten zuerst sparen wollen.

0:47 Abgerechnet wird nach Token, getrennt nach Eingabe und Ausgabe, und die Ausgabe ist deutlich teurer. Daraus schließen viele, dass man die Antworten kürzen muss. Bei einem Retrieval-Feature ist das falsch: Dort überwiegt die Eingabe, weil zu jeder Frage mehrere Textstücke mitgeschickt werden. Wer sparen will, kürzt also zuerst den Kontext.

1:07 Und die zweite Einsicht ist noch wichtiger: Rechnen Sie nicht je Aufruf, sondern je erledigtem Vorgang. Das ist die Zahl, die sich mit Ihrem heutigen Prozess vergleichen lässt. Vier Gründe, und der zweite ist der, den Controller gern übersehen: Ein billigeres Modell, das öfter danebenliegt, erzeugt Nacharbeit — und ist am Ende teurer als das teure.

1:29 Ein Agent mit sechs Runden kostet das Sechsfache eines Aufrufs, was in keiner Preisliste steht. Verweigerungen sind ebenfalls nicht gratis, sie erzeugen Rückrufe. Nur die Kosten je Vorgang bilden all das ab. Und nur diese Zahl können Sie einer Geschäftsführung gegenüber der bisherigen Bearbeitung gegenüberstellen. Bevor wir in die Optimierung gehen, machen Sie die Rechnung einmal selbst.

1:52 Für zweihundert Anrufe am Tag: Wie viele Eingabe- und Ausgabetoken fallen an, was kostet das Retrieval, was die Neuordnung, was die Agentenrunden? Weisen Sie die Posten getrennt aus und schreiben Sie Ihre Annahmen dazu — die sind später wichtiger als das Ergebnis. Und messen Sie die Tokenzahlen, statt sie zu schätzen; dafür gibt es die Funktion, die wir in Modul zwei besprochen haben.

2:15 Diese Rechnung dauert eine halbe Stunde und verändert regelmäßig den Entwurf.

Zwischenspeicherung des Vorspanns

2:20 Jetzt zum wirksamsten Hebel bei Retrieval-Features — und zugleich zu dem, der am häufigsten verschenkt wird. Es geht um die Zwischenspeicherung des immer gleichen Prompt-Anfangs. Die Technik dahinter ist einfach, die Voraussetzung haben wir schon in Modul zwei gelegt. Trotzdem greift sie in der Praxis oft nicht, und im nächsten Kapitel sehen wir, woran das liegt.

2:41 Systemanweisung, Werkzeugdefinitionen und feste Beispiele sind bei jedem Aufruf identisch. Werden sie zwischengespeichert, entfällt ein erheblicher Teil der Eingabekosten, und die Antwort kommt zusätzlich schneller. Die Voraussetzung ist die Reihenfolge, über die wir in Modul zwei gesprochen haben: Stabiles nach vorn, Veränderliches nach hinten.

3:01 Ich betone das noch einmal, weil es eine Entwurfsentscheidung am Anfang ist. Die Reihenfolge später umzudrehen heißt, den Prompt neu zu schreiben — und damit die ganze Evaluierung erneut laufen zu lassen. Fünf Regeln. Systemanweisung und Werkzeuge zuerst, in stabiler Reihenfolge. Fundstellen und Frage danach. Keine Zeitstempel und keine Vorgangsnummern im Vorspann — dazu gleich mehr.

3:25 Datenobjekte mit stabiler Feldreihenfolge serialisieren; das ist ein Fallstrick, den man nur einmal erlebt. Und Punkt fünf, der oft vergessen wird: Nehmen Sie die Trefferquote des Caches in die Überwachung auf. Sie ist eine der wenigen Zahlen, die man einmal einbaut und dann über Jahre nutzt.

Warum der Cache still nicht greift

3:44 Und damit zu einem Ausfall, der keinen Fehler erzeugt, keine Meldung schreibt und trotzdem jeden Monat Geld kostet. Die Zwischenspeicherung ist eine Übereinstimmung des Anfangs: Eine einzige geänderte Stelle macht alles danach ungültig. Wir gehen die vier typischen Zerstörer durch — und klären, mit welcher einen Zahl Sie so etwas überhaupt bemerken.

4:05 Vier stille Zerstörer. Ein Datum oder eine Uhrzeit in der Systemanweisung — sehr beliebt, weil es so hilfreich wirkt. Eine Vorgangsnummer im Vorspann statt in der Nutzernachricht. Eine Werkzeugliste, die je nach Nutzer anders sortiert ist, weil sie aus einer Menge kommt. Und ein Datenobjekt, dessen Felder nicht in stabiler Reihenfolge serialisiert werden.

4:26 Was diese vier verbindet: Die Anwendung läuft weiter, alles funktioniert, und Sie zahlen ohne jede Warnung das Mehrfache. Genau deshalb gehört diese eine Zahl auf Ihr Dashboard. Der Ausfall des Caches erzeugt keinen Fehler — nur Kosten. Ohne die Zahl ist die Ursache praktisch nicht zu finden, weil nichts auf sie hinweist. Mit der Zahl sehen Sie sofort, wenn eine Änderung den Vorspann berührt hat.

4:51 Steht sie über wiederholte Aufrufe hinweg bei null, ist einer der vier Zerstörer von eben am Werk. Der Einbau kostet eine Stunde, und Sie profitieren davon, solange es das Feature gibt.

Stapelverarbeitung

5:02 Ein kurzes Kapitel über etwas, das die Hälfte kostet und selten genutzt wird. Denn nicht jeder Aufruf hat jemanden, der auf die Antwort wartet — und für alles, was Stunden Zeit hat, gibt es einen eigenen, deutlich günstigeren Weg. Der Umbau ist gering, und er bringt nebenbei Ordnung in die Architektur. Nicht jeder Aufruf hat jemanden, der auf die Antwort wartet.

5:24 Die nächtliche Auswertung der Tickets, die Vorabklassifizierung eingehender Meldungen, Zusammenfassungen neuer Handbuchabschnitte — all das darf Stunden dauern. Für solche Fälle gibt es die Stapelverarbeitung, die asynchron läuft und bei der Claude API zum halben Preis abgerechnet wird. Der Umbau ist gering, die Ersparnis erheblich.

5:43 Und es gibt einen angenehmen Nebeneffekt: Die Trennung zwischen interaktiven und nachgelagerten Aufgaben wird im Code endlich sichtbar. Die Einteilung fällt leichter, als man denkt: Wartet jemand? Dann interaktiv. Wartet niemand? Dann Stapel. Bei Talwerk landet fast alles außerhalb des Telefonats in der rechten Spalte. Ein Hinweis zur Umsetzung, der in der Fußzeile steht und den ich unterstreichen möchte: Die Ergebnisse kommen in beliebiger Reihenfolge zurück.

6:11 Ordnen Sie sie über eine eigene Kennung zu, niemals über die Position in der Liste. Wer das über die Position macht, baut einen Fehler ein, der erst unter Last auffällt — und dann Datensätze vertauscht.

Latenz zerlegen

6:24 Wenn ein Feature als langsam empfunden wird, lohnt die Zerlegung, statt am Modell zu drehen. Die Gesamtzeit setzt sich aus fünf Abschnitten zusammen, und in der Praxis liegt der größte Anteil überraschend oft nicht beim Modellaufruf. Ohne Messung je Abschnitt raten Sie — mit Messung haben Sie meist zwei bis drei sehr konkrete Ansatzpunkte.

6:44 Fünf Abschnitte, und in der Praxis liegt der größte Anteil überraschend oft nicht beim Modellaufruf, sondern in der letzten Zeile: bei einer trägen Datenbankabfrage in einem Werkzeug. Oder in der dritten: bei einer Neuordnung, die dreißig Kandidaten einzeln bewertet. Ohne Messung je Abschnitt raten Sie. Mit Messung ergeben sich meist zwei bis drei konkrete Ansatzpunkte — Kandidatenzahl senken, Werkzeuge nebenläufig ausführen, Streaming einschalten, Vorspann cachen.

7:11 Das Modell zu wechseln ist selten der erste und fast nie der beste Schritt.

Beobachtbarkeit

7:16 Kommen wir zu der Frage, die im Ernstfall über Stunden oder Tage entscheidet: Können Sie rekonstruieren, wie eine bestimmte Antwort entstanden ist? Ein KI- Feature ohne Protokollierung ist im Fehlerfall nicht aufklärbar, weil sich die Antwort nicht wiederherstellen lässt. Wir schauen uns an, was festgehalten gehört — und was Sie dabei über Fristen wissen müssen.

7:37 Sechs Angaben, und zusammen erlauben sie genau das: die vollständige Rekonstruktion einer einzelnen Antwort. Frage und Zeitpunkt, die Fundstellen mit ihren Kennungen, Prompt-Version und Modell, die Werkzeugaufrufe mit Argumenten, der Abbruchgrund, Token und Kosten. Ohne diese Zeilen stehen Sie bei einer Beschwerde mit leeren Händen da.

7:56 Und die Fußzeile ist kein Nachsatz: Nutzerkennungen gehören pseudonymisiert, und die Aufbewahrungsfrist legen Sie vor dem Start fest — es sind Kundenanfragen. Vier Zahlen genügen für den Alltag. Die Verweigerungsquote und der Anteil fachlich unplausibler Antworten zeigen die Qualität. Die Trefferquote des Caches zeigt, ob Sie unnötig zahlen. Die Kosten je Vorgang zeigen die Wirtschaftlichkeit. Und die Latenz je Abschnitt zeigt, wo es hakt.

8:24 Vier Zahlen, ein Dashboard — mehr braucht es nicht, um zu merken, dass etwas nicht stimmt. Und genau darum geht es: nicht um vollständige Kontrolle, sondern darum, rechtzeitig hinzusehen.

Modellwechsel als geplanter Vorgang

8:36 Zum Abschluss ein Ereignis, dessen Zeitpunkt Sie nicht bestimmen: Modelle werden abgelöst, und das Datum setzt der Anbieter. Wer darauf nicht vorbereitet ist, erlebt den Wechsel als Notfall mitten im Quartal. Mit vier Vorkehrungen wird daraus ein Vormittag Arbeit — und alle vier haben wir in diesem Seminar ohnehin schon gebaut.

8:56 Fünf Vorkehrungen, und zusammen machen sie aus einem ungeplanten Projekt einen Vormittag Arbeit. Der Modellname steht an genau einer Stelle in der Konfiguration. Der Goldstandard existiert, sodass die Bewertung Stunden statt Wochen dauert. Die Prompts sind nicht auf Eigenheiten eines einzelnen Modells hin verfeinert — solche Feinheiten gehen beim Wechsel ohnehin verloren.

9:17 Es ist festgehalten, welche Fähigkeiten das Feature wirklich braucht. Und danach bestimmen Sie Tokenzahlen und Kosten neu, weil sich beides verschieben kann. Zum Abschluss die Übung, die alles zusammenführt. Machen Sie den Vorspann cachefähig und weisen Sie die Trefferquote aus. Messen Sie die Latenz je Abschnitt. Sorgen Sie dafür, dass sich aus dem Protokoll eine Antwort vollständig rekonstruieren lässt — und legen Sie eine Frist für diese Daten fest.

9:44 Wer zusätzlich einen Modellwechsel durchspielt, kennt den Aufwand, bevor er unter Zeitdruck anfällt. Damit steht Ihr Feature nicht nur, sondern es lässt sich auch betreiben. Und das ist der Unterschied, um den es in diesem Seminar von Anfang an ging.