Tutorial
Speedup für lokale KI: Qwen & llama.cpp, wie sie wirklich schnell laufen
Ein lokales System mit AMD R9700, Qwen 3.8 und zwei Agent-Harnesses – und die beiden Fixes, die es endlich flüssig machen.
Zwei Probleme machen das Tempo kaputt: Ein Bug in llama.cpp verliert den MTP-Träger beim Cache-Checkpoint – er tritt auch ohne Parallelität auf. Und wenn pi und Hermes parallel laufen, vergleicht llama.cpp die Anfragen im Prompt-Cache manchmal falsch: Es erkennt nicht, dass der Prompt schon im Cache liegt, und verarbeitet ihn komplett neu. Genau dafür gibt es die beiden Begleit-Artikel:
Weiterlesen: Speedup für lokale KI: Qwen & llama.cpp, wie sie wirklich schnell laufen
Wie ihr wahrscheinlich bereits festgestellt habt, ist ein internes Samba-Setup schnell aufgesetzt, wird aber unübersichtlich, sobald mehrere Freigaben, Benutzer, Gruppen und unterschiedliche Zuständigkeiten zusammenkommen. Genau an diesem Punkt setzt dieses Docker-Samba-Setup an.
Wie ihr wahrscheinlich bereits festgestellt habt, ist das Rechtemanagement zwischen Docker-Containern und Host-Benutzern eine heikle Angelegenheit. Genau an diesem Punkt setzt dieses Docker-LAMP-Setup an.