#local-ai
11 Artikel
- 2026-09-11
Eine Embedding-Rangliste ist keine Retrieval-Entscheidung
Öffentliche Modelllisten helfen bei der Vorauswahl. Ob ein Einbettungsmodell passt, entscheidet jedoch die Retrieval-Aufgabe mit ihren eigenen Abfragen und Fehlertoleranzen.
- 2026-06-16
Die Agenten-Laufzeit ist das Produkt
Das Modell bekommt den Applaus. Die Laufzeit entscheidet, ob ein Agent nützlich ist oder nur überzeugend über Arbeit spricht.
- 2026-06-08
Gedächtnis ist keine Datenbank
Agentengedächtnis scheitert seltener am Speichern als an Aufmerksamkeit, Aktualität und Urteilskraft beim Abruf.
- 2026-04-02
M5 Max gegen AMD Strix Halo: Was zählt für lokale LLMs?
Speicherbandbreite und Speicherkapazität sind bei lokaler Inferenz zwei verschiedene Entscheidungen.
- 2026-04-02
Llama 4 Scout: Metas neues MoE-Modell und die Frage nach lokaler Inferenz
Llama 4 Scout verbindet ein MoE-Design mit multimodalen Fähigkeiten und langem Kontext. Für lokale Inferenz sind Speicherbedarf, Quantisierung und unabhängige Tests wichtiger als die Marketingzahl der Gesamtparameter.
- 2026-03-20
Mistral Small 4: Ein großes MoE-Modell für vielseitige lokale Inferenz
Mistral Small 4 kombiniert Reasoning, Bildverständnis und agentisches Coding in einem sparsamen Mixture-of-Experts-Modell.
- 2026-03-14
Mamba trifft Vulkan: Hybride Sprachmodelle auf breiterer Hardware
Warum Vulkan-Unterstützung für Mamba-artige Operationen die lokale Inferenz erweitert.
- 2026-03-07
MiniMax M2.5: Wenn Spitzenmodelle billig genug für dauerhafte Agentenläufe werden
- 2026-03-05
Lokale LLM-Geschwindigkeit sinnvoll vergleichen
Warum Prefill, Generierung, Kontext und Speicher getrennt gemessen werden müssen, wenn lokale Sprachmodelle verglichen werden.
- 2026-03-04
Graph-Gedächtnis für KI-Agenten: Mem0 ohne Cloud-Abhängigkeit
Vektorspeicher finden ähnliche Texte. Ein Graph kann zusätzlich sichtbar machen, wie Fakten zusammenhängen.
- 2026-03-04
Reasoning-Destillation: Was ein kleineres Modell übernehmen kann — und was nicht
Destillation kann kleineren Modellen bei klar abgegrenzten Aufgaben helfen. Bei Claude-Ausgaben setzt die zulässige Nutzung einen Blick in die aktuellen Bedingungen voraus.