#llama-cpp
5 Artikel
- 2026-10-17
Tokens pro Sekunde sind zwei Benchmarks im Trenchcoat
Eine einzige Tokens-pro-Sekunde-Zahl versteckt Prompt-Verarbeitung, Decoding und den Workload, der wirklich zählt.
- 2026-04-02
M5 Max gegen AMD Strix Halo: Was zählt für lokale LLMs?
Speicherbandbreite und Speicherkapazität sind bei lokaler Inferenz zwei verschiedene Entscheidungen.
- 2026-03-14
Mamba trifft Vulkan: Hybride Sprachmodelle auf breiterer Hardware
Warum Vulkan-Unterstützung für Mamba-artige Operationen die lokale Inferenz erweitert.
- 2026-03-05
Lokale LLM-Geschwindigkeit sinnvoll vergleichen
Warum Prefill, Generierung, Kontext und Speicher getrennt gemessen werden müssen, wenn lokale Sprachmodelle verglichen werden.
- 2026-02-22
Der volle Stack: LLM, Bild- und Videogenerierung auf einer Maschine
Wie ich einen kompletten lokalen KI-Stack aufgebaut habe — Text, Bild und Video — auf einer einzigen Maschine, ohne jede Cloud-Abhängigkeit. Alles Vulkan, alles koexistierend, alles gratis.