Welche Auswirkungen hat die Quantisierung (z.B. von FP16 auf INT8 oder NF4) auf die Perplexität domänenspezifischer Modelle?

Die Quantisierung reduziert die Präzision der Gewichte und Aktivierungen, was mathematisch zu einem Informationsverlust führt. Bei domänenspezifischen Modellen äußert sich dies in einem Anstieg der Perplexität, da die für die Fachdomäne kritischen Nuancen oft in den weniger signifikanten Bits der Gewichtsverteilung kodiert sind.

Der Übergang von FP16 auf INT8 erfolgt meist über eine lineare Skalierung. Wenn die Gewichtsverteilung starke Ausreißer aufweist – was bei spezialisierten Modellen häufig der Fall ist –, führt dies zu Quantisierungsfehlern, die die Vorhersagegenauigkeit mindern. NF4 (NormalFloat 4) hingegen nutzt eine nicht-lineare Quantisierung, die auf der Annahme einer Normalverteilung der Gewichte basiert. Dies reduziert den Anstieg der Perplexität im Vergleich zu Standard-INT4-Verfahren deutlich.

Die Auswirkungen lassen sich wie folgt einordnen:

Wir beobachten, dass die Perplexität bei domänenspezifischen Modellen stärker reagiert als bei General-Purpose-Modellen. Dies liegt an der geringeren Redundanz der gelernten Repräsentationen. Um diesen Effekt zu minimieren, setzen wir auf präzise Data Engineering Prozesse, um die Kalibrierungsdatensätze für die Quantisierung optimal auszuwählen und so den Informationsverlust zu steuern.

Ein kritischer Faktor ist das sogenannte Outlier-Problem. In spezialisierten Modellen konzentriert sich ein Großteil der Modellintelligenz oft auf wenige, sehr große Gewichtswerte. Eine naive Quantisierung auf INT8 schneidet diese Spitzen ab, was die Perplexität sprunghaft ansteigen lässt. NF4 mildert dies durch die optimierte Quantisierungsmatrix ab, kann jedoch bei extremen Domänen-Spezialisierungen dennoch zu einem spürbaren Qualitätsverlust führen.

Für domänenspezifische Anwendungen empfehlen wir den Verzicht auf reine INT8-Quantisierung zugunsten von NF4 in Kombination mit QLoRA, da dies die beste Balance zwischen Speicherreduktion und Erhalt der fachlichen Präzision bietet.