Wer llama.cpp mit Multi-Token-Prediction (MTP) und dem Server-Prompt-Cache betreibt, stößt auf einen Bug, der sich erst im Alltag zeigt: Ein Branch auf einen gespeicherten Checkpoint prefillt still komplett von vorne – oder der Server beendet sich mit GGML_ABORT.

Der Grund ist klein, aber fatal: Beim Checkpoint speichert llama.cpp die KV-Zustände von Target- und Draft-Modell, aber nicht den MTP-Träger, die mit der KV-Grenze gekoppelte versteckte Zeile. Der Artikel beschreibt den Bug, den Fix in fünf Dateien und die Verifikation – vom HTTP-Test mit Qwen3.8-27B über den C++-Unit-Test bis zum Mutanten-Test.

Wer mehrere lokale Agenten (Hermes, Pi, Cron-Jobs) an einem einzigen llama-server betreibt, stößt auf dasselbe Problem: Jede Session bekommt ihren eigenen Slot, jeder Slot seinen eigenen Prompt-Cache – und geteilte Präfixe werden trotzdem immer wieder von vorne geprefillt.

Der Session-Slot-Router ist ein Testaufbau, der das umdreht: Ein kleiner Python-Proxy auf Port 8081 kennt die Session-ID jeder Anfrage, ordnet jede Session einem Slot zu und hält sie per LRU dort. Der Artikel beschreibt Aufbau, Anbindung von Pi und Hermes, die Slot-Logik und die Grenzen dieser ersten Fassung.

Zwei Probleme machen das Tempo kaputt: Ein Bug in llama.cpp verliert den MTP-Träger beim Cache-Checkpoint – er tritt auch ohne Parallelität auf. Und wenn pi und Hermes parallel laufen, vergleicht llama.cpp die Anfragen im Prompt-Cache manchmal falsch: Es erkennt nicht, dass der Prompt schon im Cache liegt, und verarbeitet ihn komplett neu. Genau dafür gibt es die beiden Begleit-Artikel:

MTP-Fix für llama.cpp →

Session-Slot-Router →