TurboQuant : la compression algorithmique qui brise le mur de la mémoire IA
L'explosion des fenêtres de contexte dans les LLM se heurte à une limite physique : la saturation de la mémoire GPU par le KV Cache. TurboQuant, une nouvelle architecture de compression vectorielle, promet de diviser par six l'empreinte mémoire sans sacrifier la précision du modèle. (Lire…