Qwen3-Coder: 405B MoE Coding-Modell + Qwen Code CLI Anleitung

In letzter Zeit gab es eine ganze Reihe neuer Qwen-Veröffentlichungen. Besonders hervor sticht Qwen3-Coder: ein agentisches Mixture-of-Experts-(MoE)-Modell mit 405B Gesamtparametern und 35B aktiven Parametern, das für leistungsstarke Coding-Unterstützung und den mehrstufigen Einsatz von Tools ausgelegt ist. Das sehr kurze Zeitfenster (nicht einmal zwei Wochen) zwischen Kimi-K2 und dem Debüt von Qwen3-Coder zeigt, wie offensiv Teams spezialisierte, offene agentische Coding-Modelle direkt zu Entwicklern bringen. Auffällig an diesem Modell sind der geringere Gesamtumfang (im Vergleich zu Kimi K2 mit 1 Billion Parametern) und zugleich starke Benchmark-Ergebnisse.

Qwen3 wurde im Mai dieses Jahres veröffentlicht, und im Schlussteil des technischen Reports heißt es: “we will work on improving model architecture and training methods for the purposes of effective compression, scaling to extremely long contexts, etc. In addition, we plan to increase computational resources for reinforcement learning, with a particular emphasis on agent-based RL systems that learn from environmental feedback.”

Im Juli brachte das aktualisierte Qwen3-Modell überarbeitete Pretraining- und Reinforcement-Learning-(RL)-Phasen mit sich. Dabei kam eine angepasste Variante von Group Relative Policy Optimization (GRPO) zum Einsatz, genannt Group Sequence Policy Optimization (GSPO), sowie ein skalierbares System, das 20 000 unabhängige Umgebungen parallel ausführen kann. Wir sind sehr gespannt (auf die Veröffentlichung eines aktualisierten technischen Reports?), um mehr über die Details zu erfahren.

Wichtigste Erkenntnisse

• 405B-Parameter-Mixture-of-Experts-Modell mit 35B aktiven Parametern
• 160 Experten, davon 8 pro Token aktiv
• 256K Token Kontextlänge, mit YaRN auf 1M erweiterbar
• Hoher SWE-bench verified Score bei Long-Horizon-Tasks (69.6 mit 500 Turns vs Claude-Sonnet-4 mit 70.4% bei 500 Turns)
• Trainiert mit Group Sequence Policy Optimization
• Kleinere 30B A3B Instruct-Variante läuft auf einer einzelnen H100 GPU
• Qwen Code CLI als Fork der Gemini CLI Open Source gestellt

Hier folgt ein Überblick auf hohem Niveau, damit du schnell mit den internen Details von Qwen3-Coder vertraut bist.

Modellübersicht

Auf Benchmarks ist die Performance von Qwen3-Coder beeindruckend: Der Score liegt bei 67.0% auf SWE bench verified – und steigt auf 69.6% mit 500 Turns. Das 500-Turn-Ergebnis simuliert einen realistischeren Coding-Workflow, bei dem das Modell Feedback (wie Testfehlschläge) lesen, Code anpassen, Tests erneut ausführen und den Prozess wiederholen kann, bis die Lösung funktioniert.swe-bench

Implementierung

Dieser Artikel enthält Implementierungsdetails für eine kleinere Variante: Qwen3-Coder-30B-A3B-Instruct. Wer sich über den Namen wundert: Diese Variante besitzt 30 Milliarden Gesamtparameter und 3 Milliarden aktive Parameter. „Instruct“ zeigt, dass es sich um eine instruction-tuned Variante des Basismodells handelt.

Implementierungs-Spezifikationen

• Anzahl der Parameter: 30.5B total, 3.3B activated
• Anzahl der Layer: 48
• Anzahl der Attention Heads (GQA): 32for Q, and 4 for KV
• Anzahl der Experten und aktivierter Experten: 128 Experten, 8 aktivierte Experten
• Kontextlänge: 262,144 native context (ohne YaRN)

Wie wir sehen, hat dieses Modell leicht abweichende Spezifikationen, kann dafür aber auf einer einzelnen H100 GPU betrieben werden.

Schritt 1: GPU Virtual Machine einrichten

Starte damit, eine GPU Virtual Machine zu erstellen!

Schritt 2: Web Console

Nachdem deine GPU Virtual Machine vollständig bereitgestellt wurde, kannst du die Web Console öffnen.

Schritt 3: Abhängigkeiten installieren

apt install python3-pip
pip3 install transformers>=4.51.0

Schritt 4: Modell ausführen

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-Coder-30B-A3B-Instruct"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# prepare the model input
prompt = "Write a quick sort algorithm."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=65536
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

content = tokenizer.decode(output_ids, skip_special_tokens=True)

print("content:", content)

Qwen Code: Open-Source CLI

Qwen Code ist eine Open-Source-Command-Line-Interface-Lösung, mit der Entwickler das Qwen3-Coder-Modell für agentische Coding-Aufgaben nutzen können. Es handelt sich um einen Fork der Gemini CLI, der so angepasst wurde, dass er nahtlos mit den Fähigkeiten von Qwen3 zusammenarbeitet.

Wir haben die Schritte aufgenommen, um die CLI zu installieren, zu konfigurieren und sie mit dem Qwen3-Coder-Modell auszuführen.

Schritt 1: Node.js installieren (Version 20 oder neuer)

Bevor du startest, stelle sicher, dass Node.js20+ auf deinem Gerät installiert ist. In deinem Terminal:

node -v

Schritt 2: Qwen Code CLI installieren

Sobald Node.js bereit ist, installiere Qwen Code global:

npm install -g qwen-code

Damit ist der Befehl qwen-code von überall auf deinem System aus verfügbar.

Schritt 3: API-Key abrufen

Hole dir einen API-Key von openAI

export OPENAI_API_KEY="your_api_key_here"
export OPENAI_BASE_URL="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"
export OPENAI_MODEL="qwen3-coder-plus"

Schritt 4: Vibe Code

qwencliType qwen in dein Terminal ein, und du kannst direkt vibe coden.

Für alternative Wege, Qwen3-Coder zu nutzen, sieh dir den Qwen Coder Blog Post an.

Qwen3 From Scratch

Hier ist ein Notebook, das für alle interessant sein könnte, die ihre Intuition zur zugrunde liegenden Architektur von Qwen3 verbessern möchten.

Implement Qwen3 Mixture-of-Experts From Scratch by Sebastian Raschka: “this notebook runs Qwen3-Coder-30B-A3B-Instruct (aka Qwen3 Coder Flash) and requires 80 GB of VRAM (e.g., a single A100 or H100).”

Abschließende Gedanken

Wir freuen uns sehr darauf, dass die Community mit diesen offenen agentischen Coding-Modellen wie Qwen3-Coder, Kimi K2, Devstral experimentiert und sie in ihre Workflows integriert. Was uns bei Qwen3-Coder am meisten beeindruckt, ist das Kontextfenster. Mit 246K Tokens, erweiterbar auf eine Million, sind wir gespannt, wie effektiv dieses Modell in realen Software-Engineering-Use-Cases im Vergleich zu alternativen Open-Weight-Modellen ist. Mit seinem starken Kontextfenster, der Verfügbarkeit zugänglicher kleinerer Varianten wie Qwen3-Coder-30B-A3B-Instruct und der Einführung der Qwen Code CLI ist dieses Modell bestens positioniert, um Entwicklern leistungsfähige, agentische Coding-Unterstützung zu bieten.