#inférence
2 articles
- 2026-10-17
Les tokens par seconde sont deux benchmarks sous un trench-coat
Un unique chiffre de tokens par seconde masque l'ingestion du prompt, le décodage et la charge de travail qui compte réellement.
- 2026-10-12
Les modèles de langage à diffusion ont un problème de cache. Cela devient enfin intéressant.
Les modèles de langage à diffusion génèrent du texte en parallèle, mais le débruitage répété coûte cher. De nouveaux travaux sensibles au cache rendent le compromis intéressant.