Große Sprachmodelle (LLMs) sind nützlich und für viele aus dem Alltag nicht mehr wegzudenken. Durch ihre hohe Anzahl an Parametern haben sie viel Wissen gespeichert und können dadurch hervorragende Texte formulieren sowie Antworten auf Fragen aus den verschiedensten Themengebieten geben. Viele Parameter brauchen jedoch viel Speicher, und der ist gerade auf Grafikkarten besonders teuer – dabei können GPUs Sprachmodelle aufgrund der Parallelisierung der Aufgaben besonders schnell ausführen. Ist man nur an den Formulierungskünsten oder an Spezialwissen interessiert, wären also etwas kleinere Sprachmodelle (Small Language Models, SLMs) nützlich.

Die Grenze zwischen kleinen und großen Sprachmodellen ist nicht sonderlich scharf. Häufig zählt Metas Llama-Modell mit acht Milliarden Parametern zu den SLMs, andere Quellen setzen die Grenze bei vier Milliarden Parametern, was auch als Basis für diesen Artikel dienen soll.

Große Sprachmodelle speichern ihre Parameter in dem speziellen Format bfloat16, das man sich extra für tiefe neuronale Netze ausgedacht hat. Im Vergleich zum gebräuchlicheren float32 liegt hier eine niedrigere Genauigkeit vor, der Wertebereich ist aber identisch. Da Milliarden Parameter ohnehin nur approximativ justiert werden können, fällt diese Ungenauigkeit praktisch nicht ins Gewicht. Da heutige Consumer-GPUs über mindestens 8 GByte RAM verfügen, können sie in der bfloat16-Darstellung etwas weniger als 4 Milliarden Parameter verarbeiten, denn Zwischenergebnisse benötigen auch noch Platz.