Tests und persönliche Erfahrungen
Welche Modelle bringen welche Ergebnisse in welcher Geschwindigkeit? Keine Standard-Benchmarks, sondern Bilderkennung und agentisches Coding mit VS Code auf lokaler, bezahlbarer AMD-Hardware selbst ausprobiert.
Human in the loop
Ich bin Kai Bennett, Softwarearchitekt, und begeistere mich seit September 2025 für lokale KI. Hier teile ich meine Erkenntnisse und Ergebnisse, die ich auf den beiden Geräten gemessen habe.
Persönliche Empfehlung
Ich habe mit den beiden Modellen die längsten agentischen autonomen Aufträge von bis zu 13,6 h und gleichzeitig sehr gute Ergebnisse bei nutzbarer Geschwindigkeit von über 20 t/s im Median. Das ist für mich auf dieser Hardware, Stand September 2026, der beste Kompromiss aus Qualität und Geschwindigkeit, ohne Token bezahlen, ohne Abhängigkeit zu Cloud Anbietern und ohne meine Daten zu teilen.
AI MAX 395
Qwen3.8-Flash-Next
UD-Q4_K_XL
21,76t/s Median
R9700
Qwen3.8-27B
UD-Q4_K_XL
33,69t/s Median
AMD AI MAX 395 · AMD Halo · 13,6 h
Qwen3.8-Flash-Next baut ein Spiel mit — Zeilen Code inklusive Tests fertig, autonom, mit einem einzelnen Prompt.
Radeon AI PRO R9700
Qwen3.8-27B UD-Q4_K_XL mit über 30 t/s im Schnitt, bei langem Kontext noch um die 30. Das ist eine gut brauchbare Geschwindigkeit, und das, obwohl es sich um ein Dense-Modell handelt, bei dem alle 27 Milliarden Parameter gleichzeitig aktiv sind.
Maschine 1
gfx1201 · RDNA4 · 32 GB dediziert, headless betrieben.
Intel Core Ultra 7 265KF · 63,6 GiB RAM · ASUS PRIME Z890-P.
Windows 11 Pro 26200 · Adrenalin 26.6.4 · amdvlk64 9.2.10.395
Maschine 2
Strix Halo · Radeon 8060S · gfx1151 · 128 GiB unified LPDDR5X-8533, rund 256 GB/s theoretische Bandbreite.
Windows 11 Pro 26200 · Treiber 32.0.31021.5001 · Vulkan-Heap 98.123 MiB
Software
Alle Läufe auf llama.cpp mit dem Vulkan-Backend, kein ROCm, keine BIOS-Änderung. Als Server im lokalen Netz, angebunden an VS Code Copilot Chat als Custom Endpoint.
Builds b10717 · bd9bd1b · b9985 · 580e88d · poolside 04b2b72
Ich habe mit den beiden Modellen die längsten agentischen autonomen Aufträge von bis zu 13,6 h und gleichzeitig sehr gute Ergebnisse bei nutzbarer Geschwindigkeit von über 20 t/s im Median. Das ist für mich auf dieser Hardware, Stand September 2026, der beste Kompromiss.
AMD AI MAX 395 (AMD Halo) · GMKtec EVO-X2
UD-Q4_K_XL · MTP, Shared-Q8_0, n-max 2
Nicht das schnellste und auch nicht die höchste Qualität, aber es nutzt die Vorteile des AMD Strix Halo, also verwendet den gesamten VRAM, beinhaltet bereits die Qwen 4 Architektur und liefert mit stabiler Geschwindigkeit gut ab.
Radeon AI PRO R9700
UD-Q4_K_XL · draft-mtp + ngram-mod 24/48/64
Das erste Modell, das ich auf einer GPU mit 24–32 GB VRAM auch zum Coding empfehlen würde. Es läuft in Q4 stabil agentisch über Stunden, schreibt Tests und reviewt sich selbst. Wenn ich ein Modell im Bereich bis 32 GB VRAM empfehlen würde, dann wäre es definitiv dieses.
Die Modelle
Zum Beispiel ein vom Retro Spiel „Moorhuhn“ inspirierter Test, der mit nur einem Prompt erstellt wurde, zum selbst ausprobieren. Alle Messwerte inklusive der Geschwindigkeit und der verbrauchten Token. Auch Bilderkennung wird getestet, eine wichtige Fähigkeit der Modelle damit sie ihre eigenen Ergebnisse ansehen und verbessern können.
Dafür wurde ein Agent in Visual Studio Code konfiguriert, der die entsprechenden Anweisungen enthält.
14 von 14 Detailseiten gebaut·0 folgen
Tippen zum Filtern · ↑ ↓ zum Wählen · Eingabe öffnet die Detailseite
Jedes Modell steht einmal, mit allen Aufgaben, die es bearbeitet hat. Wo mehrere Läufe
vorliegen, ist der Median über alle gewerteten Antworten dieser Läufe zusammen gerechnet,
nicht aus den einzelnen Medianen gemittelt; Token und Minuten sind Summen. Die Zahlen je
Lauf stehen auf der Detailseite.
Mio. Token verbraucht ist die Zahl, die ein kostenpflichtiger Anbieter in Rechnung
gestellt hätte: Eingabe plus Ausgabe, wobei jede einzelne Anfrage mit ihrem vollen Kontext
zählt und nicht nur mit dem, was neu hinzukam. Ein Agentenlauf schickt denselben Verlauf
hunderte Male mit, deshalb liegt die Eingabe um ein Vielfaches über der Ausgabe. Kurze
Antworten sind mitgezählt, auch die, die in den Geschwindigkeitswert nicht eingehen. Die
Aufteilung in Eingabe und Ausgabe steht im Tooltip jeder Zeile.
Das beste Ergebnis bisher
Qwen3.8-Flash-Next auf dem AMD AI MAX 395, 177 Milliarden Parameter, davon rund sechs aktiv. 459 Requests, 786 506 erzeugte Token, kein einziges Eingreifen. Grafiken, Menüs, Töne, Backend: alles mitgeneriert. Klar können das die großen Modelle auch, aber ich fand das Ergebnis in Teilen sogar besser als von Sonnet 5, und es läuft auf Hardware für um die 2 600 € (z. B. Bosgame M5).
Gebaut von Qwen3.8-Flash-Next · AMD AI MAX 395
Das Ergebnis
Aufnahmen aus den ausgelieferten Builds: Menüs, Spielmodi, Punktesystem, Freischaltungen.
Referenzlauf
Qwen3.8-Flash-Next auf dem AMD AI MAX 395 (AMD Halo), 177 Milliarden Parameter gesamt, davon rund sechs aktiv. Kampfarena mit Magiekreis, Aktionsmenü, Statusleisten und Zaubereffekten.
Agentische Entwicklung
Das Modell läuft im lokalen Netz und ist in VS Code Copilot Chat als Custom Endpoint hinterlegt, also genau dort, wo die meisten Entwickler ohnehin sind. Mit Tool Use schreibt es Tests, legt Dateien und Ordner an, erstellt Screenshots und Playwright-Tests, um sich selbst zu prüfen.
Der Lauf ist inzwischen fertig: 13 Stunden 36 Minuten an einem einzigen Auftrag, 459 Anfragen, 786 506 erzeugte und 1 051 292 eingelesene Tokens. Rechnet man den zwischengespeicherten Kontext mit, hat das Modell dabei 24,9 Millionen Tokens gelesen. Kein einziges Mal wurde der Kontext abgeschnitten. Der Höchststand lag bei 98 109 von 131 072.
Das Bild zeigt einen Zwischenstand nach 8 Stunden 47 Minuten: das siebte von dreizehn Arbeitspaketen, 40 geänderte Dateien, das Kontextfenster bei 51 Prozent.
Vision
Viele lokale Modelle können Bilder erkennen. Geprüft wird an eigenen Bildern, um zu testen, wie gut die Bilderkennung funktioniert.
In beiden Bildern weicht jeweils genau eine Stelle vom Muster ab. Das ist für die Modelle eine Herausforderung, bei der sie Details erkennen müssen. Diese vier Stellen werden deshalb getrennt angegeben.
| Geprüft wird | Qwen3.8-27BUD-Q4_K_XL · Radeon AI PRO R9700 | Qwen3.6-27BUD-Q6_K_XL · Radeon AI PRO R9700 | Qwen3.5-122B-A10BUD-Q4_K_XL · AMD AI MAX 395 (AMD Halo) · GMKtec EVO-X2 | Sonnet 5— · Cloud-Referenz |
|---|---|---|---|---|
| Werte richtig ablesen | 44 von 50 | 50 von 50 | 30 von 50 | 46 von 50 |
| Zeile Terminal-Bench 2.01 | erkannt | erkannt | erkannt | erkannt |
| Kachelwert 40,72 | erkannt | erkannt | nicht erkannt | nicht erkannt |
| Preisschild JOKER3 | nicht erkannt | erkannt | nicht erkannt | erkannt |
| Weiße Maske, ohne Namen4 | nicht erkannt | erkannt | nicht erkannt | Reihenfolge erkannt, Beträge vertauscht |
| Preisschilder vollständig richtig5 | 2 von 4 | 4 von 4 | 0 von 4 | 1 von 4 |
| Erfundene Schilder6 | 4 · 1 als sicher behauptet | 0 | 0 | 5 · keins als sicher behauptet |
Vorläufig. Der Lösungsschlüssel für die Preisschilder ist erst zu vier von sieben Schildern gesichert. Präzision und Recall werden nur gegen diese vier gerechnet und ändern sich, sobald der Rest bestätigt ist. Die vier Fallen sind davon nicht betroffen, sie sind gesichert.
Geschwindigkeit
33,7t/s
Median über 82 Antworten. Nicht die maximal erreichte Geschwindigkeit ist entscheidend, sondern die Geschwindigkeit, die man bei der Umsetzung einer Aufgabe im Durchschnitt erreicht.
Kontexttiefe
Denn sie messen fast immer bei kurzem Kontext. Bei echter Nutzung wächst der Kontext kontinuierlich, und die Geschwindigkeit sinkt stetig. Daher zeigen wir hier Median-Geschwindigkeiten und den Verlauf abhängig von der Kontextgröße.
Prefill · Qwen3.8-27B UD-Q6 · R9700 Messprotokoll
Decode · Qwen3.8-Flash-Next · AMD AI MAX 395 (AMD Halo) Rohprotokoll
Auf der R9700 fällt die Prefill-Rate zwischen 8 K und 164 K um den Faktor 4,2. Rechts die Decode-Rate von Qwen3.8-Flash-Next aus dem Moorhuhn-Lauf: 346 Antworten ab 200 Tokens, jede mit ihrem Kontextstand aus dem Protokoll, in sechs gleich großen Gruppen, gemessen zwischen 34 K und 71 K Kontext, also in dem Bereich, wo es bei der alltäglichen Nutzung wichtig ist. Über diese Spanne fällt sie um den Faktor 1,18. Das Modell lief besonders stabil und zuverlässig.
Feinabstimmung
Die Parameter der Modelcards sind (für AMD) nicht immer optimal. Zum Beispiel folgende drei habe ich geändert.
spec-draft-n-max · Laguna S 2.1
15 → 3
Mit dem dokumentierten --spec-draft-n-max 15 fällt der Decode auf
8,1 t/s, unter die 20,55 ohne jede Spekulation. Mit 3 steigt
er auf 27,9.
Sampling · Qwen3.5-122B
0,0 → 1,5
Mit presence_penalty 0.0 lief eine Aufgabe bis ans Kontextende:
32 768 Tokens, ohne Abschluss. Dieselbe Aufgabe braucht 201 Token mit der
aktivierten Einstellung.
Speicher · Strix Halo
25,6 GiB
Eine größere UMA-Reservierung brachte keinen Zuwachs und hätte dem Betriebssystem Speicher entzogen. Selbst bei 262 144 Kontext blieben 25,6 GiB frei.
Modellkarten
Jede Zeile ist ein Skript, das genau so einen Server gestartet hat. Die Startparameter lassen sich einzeln kopieren, vollständig, mit allen Flags.
| Modell | Hardware | Kontext | -ub | KV k / v | Spekulation | Bild | |
|---|---|---|---|---|---|---|---|
| Qwen3.6-27B-UD-Q6_K_XLstart_qwen36_27b_q6_coding.bat | R9700 | 163.840 | 512 | q8_0 / q4_0 | — | Vision | |
| Qwen3.6-27B-UD-Q6_K_XL-mtpstart_qwen36_27b_q6_mtp_coding.bat | R9700 | 172.032 | 512 | q8_0 / q4_0 | draft-mtp | Vision | |
| start_qwen36_35b_a3b_mtp.bat | R9700 | 172.032 | — | — / — | — | — | |
| start_qwen38_27b_coding.bat | R9700 | 262.144 | — | — / — | — | — | |
| start_qwen38_27b_ngram_test.bat | R9700 | 262.144 | — | — / — | — | — | |
| start_qwen38_27b_q4xl_coding.bat | R9700 | 262.144 | — | — / — | — | — | |
| start_qwen38_27b_q4xl_medium.bat | R9700 | 262.144 | — | — / — | — | — | |
| Qwen3.8-27B-UD-Q6_K_Mstart_qwen38_27b_test_rmkq1_ub128.bat | R9700 | 262.144 | 128 | q8_0 / turbo4 | draft-mtp | Vision | |
| Qwen3.8-27B-UD-Q6_K_Mstart_qwen38_27b_test_ub256.bat | R9700 | 262.144 | 256 | q8_0 / turbo4 | draft-mtp | Vision | |
| Qwen3.8-27B-UD-Q6_K_Mstart_qwen38_27b_test_ub64.bat | R9700 | 262.144 | 64 | q8_0 / turbo4 | draft-mtp | Vision | |
| DeepSeek-V4-Flash-0731-UD-IQ3_XXS-00001-of-00004start-deepseek-v4-flash-0731-DSPARK.bat | AI MAX 395 | 131.072 | 512 | f16 / f16 | draft-dspark | — | |
| Qwen3.6-35B-A3B-UD-Q4_K_XLstart-qwen-3.6-35b-a3b-vision.bat | AI MAX 395 | 262.144 | — | — / — | — | Vision | |
| Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003start-qwen35-122b-A10B-MTP-NOTHINK.bat | AI MAX 395 | 262.144 | 512 | q8_0 / q8_0 | draft-mtp | Vision | |
| Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003start-qwen35-122b-A10B-MTP.bat | AI MAX 395 | 262.144 | 512 | q8_0 / q8_0 | draft-mtp | Vision | |
| Qwen3.6-27B-UD-Q6_K_XLstart-qwen36-27b-MTP.bat | AI MAX 395 | 262.144 | 512 | q8_0 / q4_0 | draft-mtp | Vision | |
| Qwen3.8-27B-UD-Q6_K_XLstart-qwen38-27b-FALLBACK-8090.bat | AI MAX 395 | 32.768 | 512 | q8_0 / q4_0 | draft-mtp | Vision | |
| Qwen3.8-27B-UD-Q6_K_XL-240819start-qwen38-27b-MTP-240819.bat | AI MAX 395 | 262.144 | 512 | q8_0 / q4_0 | draft-mtp | Vision | |
| Qwen3.8-27B-UD-Q6_K_XLstart-qwen38-27b-MTP.bat | AI MAX 395 | 262.144 | 512 | q8_0 / q4_0 | draft-mtp | Vision | |
| Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004start-qwen38-flash-next.bat | AI MAX 395 | 131.072 | 512 | q8_0 / q8_0 | draft-mtp | Vision |
Agent Test Harness
Gemessen werden zwei verschiedene Dinge. Der Lauf zeigt Geschwindigkeit, Durchhaltevermögen und ob am Ende etwas Lauffähiges steht. Die Detailseite zeigt: Gestaltungsvermögen, Bilderkennung, und ob es sich an einen Vertrag hält, ohne zu erfinden.
01
Zwei Aufträge, aus denen alle Ergebnisse dieser Seite entstanden sind. Unverändert, so wie sie den Modellen vorlagen. Sie sind absichtlich gegensätzlich gebaut.
Der eine Auftrag lässt sich durch Fleiß bestehen, der andere nicht.
02
Ein Agent für VS Code
Copilot Chat. Nach .github/agents/ legen, dann steht er im Chat zur Auswahl.
llama-server spricht die OpenAI-Schnittstelle. VS Code nimmt solche Endpunkte über „Bring your own key“ entgegen, auch ohne Copilot-Abo und ohne Anmeldung. Die Startparameter je Lauf stehen unter Modellkarten.
03
Jeder Lauf hat eine eigene Detailseite mit denselben elf Abschnitten: Architektur, Messwerte, Artefakt, Bilderkennung, Tempo, Konfiguration, Qualität, Fehler, Quellen, Nachbau.
Prüfstand
Kopier dir die Startparameter des schnellsten gemessenen Laufs auf der Maschine.
gfx1201 · RDNA4 · 32 GB dediziert
ab ~1 500 €
Schnellster Lauf: Qwen3.8-27B UD-Q4_K_XL · 33,69 t/s
Strix Halo · Radeon 8060S · gfx1151 · 128 GiB unified
ab ~1 800 €
Schnellster Lauf: Qwen3.8-Flash-Next UD-Q4_K_XL · 21,76 t/s
Drei Zahlen für denselben Speicher. Der AMD AI MAX 395 hat 128 GiB unified LPDDR5X, keine 128 GB VRAM. Windows sieht 63,6 GiB, die BIOS-Reservierung beträgt 64,4 GiB, Vulkan meldet 98.123 MiB.
Nachprüfbarkeit
Logs und Messwerte liegen im öffentlichen Repo und wurden auf den beiden genannten Systemen gemessen. Natürlich können die Zahlen je nach Hardware- und Software-Setup bei dir etwas abweichen.
1
Die Serverprotokolle von llama.cpp und die Messtabellen liegen unverändert in
evidence/, zusammen rund 3,8 MB, mit Prüfsummen. Jede Modellkarte
und jede Tabellenzeile verlinkt genau die Datei, aus der ihre Zahlen stammen.
2
Gewertet wird jede Antwort ab 200 Tokens: kürzere erzeugen im Protokoll Ausreißer bis 1 000 000 t/s, ein Token in nahezu null Millisekunden. Perzentile nach Rangplatz, nicht interpoliert.
3
Wer den Zahlen nicht glaubt, lädt das Repo und lässt verify_runs.py
laufen. Es rechnet jeden Wert aus dem Rohprotokoll nach und meldet jede
Abweichung. Derzeit: null.
Manche Messläufe haben leider nicht alle Zahlen. Der Clair-Obscure-Lauf von Qwen3.6-27B und die drei Cloud-Modelle führen deshalb keine Geschwindigkeit. Die Artefakte gibt es, die Messung nicht. verify_runs.py logs/
Quelltext
Zuerst das Repo zu dieser Seite: dort liegen alle Protokolle, Belege und der Quellcode der Benchmarks. Darunter die Werkzeuge, die bei diesen Messungen im Einsatz waren.
Das Repo zu dieser Seite. evidence/ enthält die Serverprotokolle,
Chatverläufe, Bildtest-Antworten und Messberichte, mit Prüfsummen;
benchmarks/ den Quellcode jedes gebauten Spiels, nach Modell und
Lauf sortiert. Jeder Beleglink auf dieser Seite zeigt dorthin.
Hermes Agent und Claude Code komplett lokal über llama.cpp. Eine Sitzung über 4 Stunden und 7 Millionen Tokens hätte in der Cloud rund 94 Dollar gekostet.
Gemma-4-31B mit vollen 256 K Kontext auf einer RDNA4-Karte, TurboQuant-KV-Cache und Flash-Attention für llama.cpp, mit echten Messungen.
Fine-Tuning auf Radeon-GPUs per QLoRA über ROCm, unter Windows mit WSL2 und unter Linux. Mit Gemma-4-Beispiel, Live-Dashboard und Validierung.
Der llama.cpp-Fork mit TurboQuant-KV-Cache, auf dem ein Teil dieser Messungen
entstanden ist, Build bd9bd1b.
