Qwen3.5-122B-A10B

The numbers at a glance

Synthetischer Labortest mit pp512 und tg128, kein Agentenlauf. Die Geschwindigkeit stammt daher aus einer Messreihe, nicht aus gewerteten Antworten eines echten Laufs. Eine Tokenbilanz und eine Kurve über die Kontexttiefe gibt es nicht, beides setzt viele aufeinanderfolgende Anfragen voraus. Das Artefakt daneben stammt aus einem eigenen Durchgang desselben Modells.

Synthetisch: llama-bench pp512, pp4096 und tg128, dazu llama-server für die Spekulation. Messreihe vom 23.07.2026. · Raw log

Results

Das Spiel, das dieser Lauf abgeliefert hat, startet nicht: drei Syntaxfehler brechen das Laden ab, übrig bleibt ein schwarzer Bildschirm. Deshalb gibt es hier weder eine Aufnahme noch eine Version zum Ausprobieren. Der Quelltext liegt so, wie das Modell ihn abgegeben hat, im Belegrepo.

Measurement series

llama.cpp launch parameters

Context

262,144

KV-Cache

q8_0 / q8_0

Micro-Batch

512

Speculative

draft-mtp · n_max 2 · Annahme 0,866

Build

04b2b72

llama-server -m Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf ^
  --mmproj mmproj-F16.gguf --host 127.0.0.1 --port 8098 ^
  -c 262144 -ngl 999 -fa on ^
  -ctk q8_0 -ctv q8_0 -b 2048 -ub 512 ^
  --spec-type draft-mtp --spec-draft-n-max 2 ^
  --temp 0.6 --top-p 0.95 --presence-penalty 1.5 ^
  --jinja --chat-template-file qwen-fixed-v21.3.jinja ^
  --reasoning on --reasoning-format deepseek

Assessment

This assessment is a proposal and has not yet been confirmed by Kai Bennett. Code quality and scope rest on counted files, source and test lines and repair scripts in the evidence repository.

What went wrong

• Das ausgelieferte Spiel startet nicht. Das Modell hat drei Schleifen von forEach auf for umgeschrieben und dabei jedes Mal das alte }); stehen lassen: in damage-numbers.js Zeile 142, hud.js Zeile 263 und prompts.js Zeile 274. Jede dieser Stellen bricht das Laden des ganzen Spiels ab, übrig bleibt ein schwarzer Bildschirm.
• Mit Unsloths Voreinstellung für präzises Programmieren, presence_penalty 0,0, hat das Modell eine Aufgabe nie beendet: 32 768 Token über 1 087 Sekunden, ohne Antwort. Laguna löst dieselbe Aufgabe in 201 Token. Mit presence_penalty 1,5 bei Temperatur 0,6 kommt es mit 7 680 Token in 297 Sekunden zum Ziel. Der erste Durchgang der Programmieraufgaben ist deshalb ungültig.
• Unsloths Beispielwert für die Entwurfstiefe, 6, liegt 13 Prozent unter dem gemessenen Optimum.
• Bei den Programmieraufgaben dasselbe Ergebnis wie Laguna, aber 67 Prozent langsamer: das Modell denkt bei jeder Aufgabe 3 000 bis 6 600 Token nach, auch bei den eindeutig beschriebenen, und erzeugt so 2,3 mal so viele Token.
• Nicht geprüft ist, ob MTP unter echter Agentenlast hält. Bei Laguna brach die Annahme der Entwürfe genau dort auf null ein. Die 31,80 t/s stammen aus einem einzelnen Prompt.
• Noch nicht gemessen: die Geschwindigkeit über die Kontexttiefe und Tool Calling.
• Bei der zweiten Bildaufgabe hat das Modell kein einziges Preisschild lesen können. Es hat das selbst gesagt und nichts erfunden.

Synthetisch: llama-bench pp512, pp4096 und tg128, dazu llama-server für die Spekulation. Messreihe vom 23.07.2026.