Welche Metriken zur Messung der 'Semantic Drift' sind in produktiven LLM-Systemen sinnvoll, um ein Retraining der Embeddings-Modelle zu triggern?

Zur Identifikation von Semantic Drift in produktiven RAG-Systemen setzen wir auf eine Kombination aus statistischen Distanzmaßen und Performance-Indikatoren. Da Embeddings hochdimensionale Vektoren sind, lässt sich Drift nicht durch einfache Mittelwerte, sondern nur durch die Analyse der Vektorraum-Verteilung feststellen.

Die Überwachung der Cosine Similarity Distribution gibt Aufschluss darüber, ob die Abfragen generell "weiter weg" von den Dokumenten rücken. Ein sinkender Median deutet darauf hin, dass das Modell neue Begriffe oder Kontexte nicht mehr präzise im Vektorraum verortet.

Der Centroid Shift ist nützlich, wenn wir spezifische Domänen-Cluster überwachen. Wenn sich die Repräsentation eines Fachbegriffs verschiebt, wandert der Cluster-Schwerpunkt. Hier implementieren wir oft spezialisierte Data Engineering Pipelines, um diese Berechnungen asynchron zu den User-Requests durchzuführen und die Rechenlast zu optimieren.

Die KL-Divergenz (Kullback-Leibler) erlaubt es uns, die gesamte Form der Vektorverteilung zu vergleichen. Ein Anstieg zeigt an, dass die Struktur des latenten Raums nicht mehr mit den aktuellen Daten korrespondiert. In Verbindung mit einem Recall@K-Test auf einem kuratierten Gold-Set lässt sich so validieren, ob die statistische Drift tatsächlich zu einer Verschlechterung der Antwortqualität führt.

Wir empfehlen, nicht bei jedem statistischen Drift-Signal ein vollständiges Retraining des Modells zu starten, da dies ressourcenintensiv ist. Stattdessen sollte primär ein Fine-Tuning der Projektionsschicht oder der Einsatz von Adaptern erfolgen. Ein vollständiges Retraining ist erst dann ratsam, wenn die Recall-Rate auf dem Gold-Set trotz Hyperparameter-Optimierung der Retrieval-Strategie dauerhaft unter die Akzeptanzschwelle fällt.