#llama-cpp
5 articoli
- 2026-10-17
I token al secondo sono due benchmark sotto lo stesso trench
Un solo numero di token al secondo nasconde l'elaborazione del prompt, il decoding e il carico di lavoro che conta davvero.
- 2026-04-02
Come valutare l'hardware per gli LLM locali
Non esiste un vincitore senza un carico di lavoro definito: memoria, backend, quantizzazione e contesto decidono il confronto.
- 2026-03-14
Mamba incontra Vulkan: perché gli ibridi contano per l'AI locale
Le architetture ibride Mamba, MoE e attenzione richiedono nuovi kernel. Il supporto Vulkan amplia le opzioni per l'inferenza locale.
- 2026-03-05
Quale LLM locale è più veloce? Come costruire un benchmark che dica qualcosa
Prefill, generazione, qualità e configurazione devono essere misurati insieme: una classifica isolata non basta.
- 2026-02-22
Lo stack completo: LLM, generazione di immagini e video su una sola macchina
Come ho messo in piedi uno stack IA locale completo — testo, immagini e video — su una singola macchina senza alcuna dipendenza dal cloud. Tutto Vulkan, tutto coesistente, tutto gratis.