L’explosion des fenêtres de contexte dans les LLM se heurte à une limite physique : la saturation de la mémoire GPU par le KV Cache. TurboQuant, une nouvelle architecture de compression vectorielle, promet de diviser par six l’empreinte mémoire sans sacrifier la précision du modèle. (Lire plus…)
Short link : https://lmc.today/8sx1