Turboquant: Googles Kompression soll RAM-Bedarf von LLMs extrem senken

Summary

Turboquant: Googles Kompression soll RAM-Bedarf von LLMs extrem senken Turboquant soll den Ressourceneinsatz für KI mit mehreren Tricks senken. Aktuell sinken vor allem die Aktienkurse von RAM-Herstellern. Kompression dürfte bei LLMs künftig eine immer größere Rolle spielen. Bild: Pexels.com/Montage: Golem Machine-Learning-Modelle benötigen viel Arbeitsspeicher. Google hat nun einige neue Algorithmen vorgestellt(öffnet im neuen Fenster) , die dieses Problem angehen sollen. Dabei soll nicht nur Speicher gespart, sondern auch die bei LLMs oft genutzte Vektorsuche schneller und effizienter gemacht werden. Vektoren als mathematische Objekte sind ein wichtiger Bestandteil moderner LLMs und dienen ihnen zur Verarbeitung und Strukturierung von Daten. Googles Turboquant kombiniert zwei weitere Projekte zu einem effizienten Kompressionsalgorithmus. Zum einen soll QJL (Quantized Johnson-Lindenstrauss) als Fehlerprüfungsschritt genutzt werden, um so etwa Modell-Bias zu minimieren. Über QJL werden höher dimensionierte Daten so verkleinert, dass jeder Vektorenwert nur durch ein einzelnes Sign-Bit repräsentiert wird. Dabei sollen die Distanzen und Relationen zwischen verschiedenen Datenpunkten erhalten bleiben. Aktien von RAM-Unternehmen sinken Polarquant ist der zweite Teil von Turboquant. Dabei werden Standardkoordinaten eines Speichervektors in Paare aus Distanz und Winkel umgewandelt. Es werden also exakte kartesische Koordinatenpunkte(öffnet im neuen Fenster) wie X, Y und Z in Polarkoordinaten(öffnet im neuen Fenster) umgewandelt. "Es bildet die Daten auf ein festes, vorhersehbares kreisförmiges Raster ab, dessen Grenzen bereits bekannt sind, anstatt auf ein quadratisches Raster, dessen Grenzen sich ständig ändern" , schreibt Google. Dadurch kann der ressourcenbedürftige Datennormalisierungsschritt(öffnet im neuen Fenster) übersprungen werden, was vor allem Speicher spart. Die Ankündigung von Turboquant soll LLMs effizienter und schneller machen. Und darauf haben auch schon ...