← Zurück zum Blog

Effiziente lokale KI-Modelle für einen M2 Max mit 64 GB RAM: Was passt und welches Modell lohnt sich?

Übersetzter Artikel. Original lesen

Dies ist eine zeitgebundene Momentaufnahme. Modellveröffentlichungen, quantisierte Downloads, Runtime-Unterstützung und Benchmark-Ranglisten ändern sich schnell. Die folgenden Empfehlungen entsprechen dem Recherchestand vom 8. Oktober 2026.

Ich habe Bonsai, KAT und Qwen auf meinem MacBook Pro mit M2 Max und 64 GB gemeinsamem Arbeitsspeicher getestet. Die in diesem Artikel genannten Benchmark-Werte stammen aus veröffentlichten Tests Dritter und sind von meinen eigenen Tests getrennt zu betrachten.

1. Die praktische Empfehlung

Für einen M2 Max mit 64 GB gemeinsamem Arbeitsspeicher ist Qwen3.6-35B-A3B als MLX-6-Bit-Paket mit etwa 29,1 GB meine erste Empfehlung. Es bietet ein gutes Verhältnis aus Modellleistung, überschaubarer Zahl aktiver Parameter und Speicherreserve. Die offizielle Modellkarte und verfügbare Apple-Silicon-Pakete machen es zu einer sinnvollen Ausgangsbasis für den Vergleich mit Alternativen.12

Je nach Einsatzzweck ändert sich die Auswahl:

  • Allgemeine Assistenz, Reasoning und gemischte Aufgaben: mit Qwen3.6-35B-A3B beginnen.
  • Ein auf Qwen3.6 basierendes Coding-Modell: KAT-Coder-V2.5-Dev ausprobieren.
  • Ein größeres Modell für Coding-Agenten: Qwen3-Coder-Next erwägen, sofern die kleinere Speicherreserve akzeptabel ist.
  • Eine kleinere multimodale Alternative: Gemma 4 26B-A4B IT testen.
  • Kompakte Text- und Agenten-Workloads: Nemotron 3.5 Lightning 30B-A3B vergleichen.
  • Ein experimenteller Kandidat mit vielversprechendem unabhängigem Benchmark: K2-Horizon-MoVA-36B-A4B untersuchen und dabei seine Runtime-Einschränkungen berücksichtigen.
  • Sehr kleine Downloads durch aggressive Komprimierung: Bonsai 2 27B prüfen; es ist allerdings ein dichtes Modell mit besonderen Anforderungen an den Loader.

Meine Empfehlungen beziehen sich auf einen M2 Max mit 64 GB gemeinsamem Arbeitsspeicher. Welches Modell am besten passt, hängt von Antwortqualität, Prompt-Verarbeitung, Generierungsgeschwindigkeit, Kontextlänge und dem Speicherbedarf anderer Anwendungen ab.

2. Vorauswahl und ungefähre Downloadgrößen

Die folgenden Größen beziehen sich auf die genannten quantisierten Pakete, nicht auf die ursprünglichen Modelle mit voller Präzision. Ein anderer Anbieter, eine andere Quantisierungsmethode oder zusätzliche Vision-Komponenten können die Downloadgröße erheblich verändern.

Modell Wichtigster Grund Lokales Beispielpaket Ungefährer Download Einschätzung für 64 GB
Qwen3.6-35B-A3B Vielseitige Basis mit multimodalen Fähigkeiten MLX 6 Bit 29,1 GB Guter Ausgangspunkt mit ausgewogenem Verhältnis aus Qualität und Reserve
KAT-Coder-V2.5-Dev Coding-Spezialisierung auf Basis von Qwen3.6 GGUF Q5_K_M / Q6_K 25,02 / 30,05 GB Attraktive Coding-Option mit komfortablem Gewichtebudget
Qwen3-Coder-Next Größeres Modell für Coding- und Agenten-Workflows MLX 4 Bit 44,9 GB Machbar, erfordert aber mehr Aufmerksamkeit bei Kontext und anderen Anwendungen
Gemma 4 26B-A4B IT Kompakte Text-und-Bild-Alternative MLX 4 Bit 15,4 GB Lässt viel Speicherreserve
Nemotron 3.5 Lightning 30B-A3B Effiziente Text- und Agenten-Workloads MLX 4 Bit 17,8 GB Kompakte, testenswerte Alternative
K2-Horizon-MoVA-36B-A4B Vielversprechende Qualität mit anderer MoE-Architektur Als 4 Bit bezeichnetes MLX-Paket mit gemischter Präzision 26,4 GB Gewichte passen gut; Runtime- und Langkontext-Einschränkungen sind relevant
Occamy 1.0 Weitere Qwen3.6-basierte Agenten-Spezialisierung MLX 6 Bit 28,17 GB Interessant, die Mac-Abnahme stand aber noch aus
Ternary Bonsai 2 27B Aggressive Komprimierung eines dichten Modells GGUF PTQ1_0 / PQ2_0; MLX 2 Bit 5,95 / 7,21 GB; 8,60 GB Sehr kleiner Download, benötigt aber den richtigen Spezial-Loader

Paketquellen: Qwen,2 KAT,3 Coder-Next,4 Gemma,5 Nemotron,6 K2,7 Occamy8 und Bonsai.910

Bei Bonsai beziehen sich die beiden GGUF-Werte auf das Sprachmodell; die optionale Q8-Vision-Komponente fügt etwa 0,63 GB hinzu. Das 8,60-GB-MLX-Paket enthält die Vision-Komponenten bereits. Die Werte beschreiben daher keine identischen Pakete.910

3. Was MoE für einen M2 Max mit 64 GB bedeutet

Gesamtparameter und aktive Parameter sind nicht dasselbe

Das relevante Qwen-Modell heißt Qwen3.6-35B-A3B. In dieser Namenskonvention bezeichnet 35B ungefähr die Gesamtzahl der Parameter, während A3B für etwa drei Milliarden aktive Parameter pro Token steht.1

Ein MoE-Modell leitet jedes Token nur durch eine Teilmenge seiner Experten. Im Vergleich zu einem ähnlich großen dichten Modell, das alle Parameter aktiviert, sinkt dadurch der Rechenaufwand pro Token.

Ein Modell mit drei Milliarden aktiven Parametern hat jedoch nicht den Speicherbedarf eines dichten Drei-Milliarden-Parameter-Modells. Für einfache lokale GPU-Inferenz müssen die gespeicherten Experten und übrigen Modellgewichte weiterhin im Speicher verfügbar sein. Offloading führt zu einem anderen Leistungs-Kompromiss.

Daher sind zwei getrennte Fragen wichtig:

  1. Wie viel Speicher belegt das vollständige quantisierte Modell?
  2. Wie effizient verarbeitet die Runtime die aktive Berechnung?

Die Zahl aktiver Parameter ist hilfreicher Kontext, sagt allein aber nicht die Tokenrate voraus. Speicherzugriffe, Attention, Kontextlänge, Implementierungsqualität und Prompt-Verarbeitung beeinflussen die Leistung ebenfalls.

Quantisierung reduziert den Speicherbedarf – mit Kompromissen

Quantisierung speichert Gewichte mit geringerer Präzision. Vier- und Sechs-Bit-Pakete sind normalerweise deutlich kleiner als Gewichte mit voller Präzision, doch die genaue Methode ist entscheidend. Manche Tensoren bleiben bei höherer Präzision; Skalen, Metadaten, Embeddings und weitere Komponenten verursachen zusätzlichen Speicherbedarf.

Die ideale Rechnung für 35 Milliarden Parameter mit exakt vier Bit pro Parameter lautet beispielsweise:

35,000,000,000 × 4 ÷ 8 = 17,500,000,000 bytes
                            ≈ 17.5 GB

Das ist eine vereinfachte Rechnung, nicht die tatsächliche Qwen-Downloadgröße. Das referenzierte MLX-4-Bit-Paket ist etwa 20,4 GB groß.11

4. Bewertung der einzelnen Modelle

Qwen3.6-35B-A3B: der empfohlene Ausgangspunkt

Qwen3.6-35B-A3B ist meine grundlegende Empfehlung für den allgemeinen lokalen Einsatz. Die Kombination aus MoE-Inferenz, multimodalen Fähigkeiten und verfügbaren lokalen Paketen macht es zu einem sinnvollen ersten Modell für diese Hardwarekonfiguration.112

Drei praktische MLX-Optionen stehen zur Verfügung:

Quantisierung Ungefährer Download Wann sie sich empfiehlt
4 Bit 20,4 GB Mehr Reserve für lange Prompts und andere Anwendungen
6 Bit 29,1 GB Die empfohlene Ausgangsbalance auf einem Mac mit 64 GB
8 Bit 37,7 GB Eine weniger aggressive Quantisierung, wenn der zusätzliche Speicherbedarf vertretbar ist

Die Werte stammen aus den jeweiligen Paketlisten.11213

Ich empfehle, mit sechs Bit zu beginnen. Gegenüber vier Bit ergibt sich daraus aber nicht zwingend ein messbarer Vorteil. Vergleichen Sie, ob das größere Paket bei Ihren tatsächlichen Aufgaben bessere Ergebnisse liefert und ob diese Verbesserungen den zusätzlichen Speicher- und Bandbreitenbedarf rechtfertigen.

KAT-Coder-V2.5-Dev: eine Coding-Spezialisierung von Qwen3.6

KAT-Coder-V2.5-Dev ergänzt Qwen3.6-35B-A3B um überwachtes Fine-Tuning und Reinforcement Learning. Die veröffentlichten Gewichte sind ausschließlich für Text ausgelegt und enthalten trotz übernommener multimodaler Metadaten keinen Vision-Tower.14

Der Anbieter nennt unter seinem eigenen Evaluierungsaufbau folgende Ergebnisse:

Benchmark KAT-Coder-V2.5-Dev Qwen3.6-35B-A3B
SWE-bench Verified 69.4 64.4
SWE-bench Pro 45.96 40.63

Für jedes Modell wurde die jeweilige Evaluierung einmal ausgeführt. Der Anbieter weist darauf hin, dass seine Qwen-Basiswerte etwa zehn Prozentpunkte unter den offiziellen SWE-bench-Ergebnissen von Qwen liegen, was hauptsächlich auf Unterschiede bei der Evaluierung zurückgeführt wird. Es handelt sich nicht um Tests der lokalen quantisierten Pakete.14

Für einen M2 Max mit 64 GB sind die GGUF-Pakete Q5_K_M mit 25,02 GB und Q6_K mit 30,05 GB geeignete Kandidaten. Beginnen Sie mit Q5_K_M, wenn Speicherreserve wichtig ist, und vergleichen Sie Q6_K, wenn die Coding-Qualität Vorrang hat.3

Qwen3-Coder-Next: eine größere Coding-Option

Qwen3-Coder-Next besitzt insgesamt 80 Milliarden Parameter, von denen ungefähr drei Milliarden aktiv sind. Es ist auf Coding-Agenten ausgerichtet, einschließlich Workflows mit Werkzeugen, Ausführungsfeedback und der Erholung von fehlgeschlagenen Versuchen. Es arbeitet ausschließlich im Non-Thinking-Modus.15

Der referenzierte MLX-4-Bit-Download ist etwa 44,9 GB groß. Damit ist der Einsatz auf einem M2 Max mit 64 GB plausibel, das Modell belegt jedoch einen deutlich größeren Anteil des verfügbaren Speichers als die anderen Hauptempfehlungen.4

Das angegebene Kontextfenster umfasst 262.144 Token. Das vollständige Fenster parallel zu anderen Anwendungen zu verwenden, dürfte auf einem M2 Max mit 64 GB nicht praktikabel sein.15

Dieses Modell sollten Sie testen, wenn Ihr Workload stark auf Coding ausgerichtet ist und die Ergebnisse den Verzicht auf einen Teil der Speicherflexibilität rechtfertigen.

Gemma 4 26B-A4B IT: eine kleinere multimodale Alternative

Gemma 4 26B-A4B ist ein MoE-Modell. Die offizielle Spezifikation nennt ungefähr 25,2 Milliarden Gesamtparameter und 3,8 Milliarden aktive Parameter; der Modellname rundet diese Werte.

Die Variante IT wurde per Instruction-Tuning für den Einsatz als Assistent optimiert. Sie unterstützt Text- und Bildeingaben sowie Funktionsaufrufe. Audiofunktionen anderer Modelle der Gemma-Familie sollten nicht ohne Weiteres auch für diese konkrete Variante angenommen werden.16

Mit etwa 15,4 GB für das referenzierte MLX-4-Bit-Paket lässt es beträchtliche Reserven für andere Anwendungen und den Kontext. Es ist ein sinnvolles Vergleichsmodell, wenn ein kleineres Paket gegenüber Qwens größerem 6-Bit-Download bevorzugt wird.5

Nemotron 3.5 Lightning 30B-A3B: effiziente Text- und Agenten-Workloads

NVIDIAs Nemotron 3.5 Lightning kombiniert Mamba-2-, Attention- und MoE-Komponenten. Das hier behandelte Modell verarbeitet ausschließlich Text.17

Ein Modell der Marke NVIDIA benötigt für lokale Inferenz nicht automatisch eine NVIDIA-GPU. Apple-Silicon-Pakete sind verfügbar: Der referenzierte MLX-4-Bit-Download ist etwa 17,8 GB groß, ein alternatives GGUF-Q4_0-Paket etwa 18,9 GB.618

Das Modell gehört in einen praktischen Vergleich für Text- und Agenten-Workloads. Sein kompaktes Paket ist attraktiv, wegen der architektonischen Unterschiede sind Tests mit echten Aufgaben jedoch aussagekräftiger als ein reiner Vergleich der aktiven Parameterzahlen.

K2-Horizon-MoVA-36B-A4B: vielversprechend, aber mit Integrationshürden

K2-Horizon-MoVA-36B-A4B ist ein Modell mit einer MoVA-Architektur, insgesamt 36 Milliarden und etwa 4 Milliarden aktiven Parametern sowie einem angegebenen 512K-Kontextfenster.19

Zum Zeitpunkt der Recherche meldete Artificial Analysis für K2 einen Intelligence-Index-Wert von 25, gegenüber 18 für Qwen3.6-35B-A3B im damals aktuellen Index. Das spricht dafür, K2 als Qualitätskandidaten zu berücksichtigen, belegt aber nicht dieselbe Rangfolge bei lokaler quantisierter Inferenz oder in einem konkreten Coding-Workflow.2021

Das referenzierte MLX-Paket ist etwa 26,4 GB groß. Obwohl es als 4-Bit-Paket bezeichnet wird, verwendet es gemischte Präzision. Seine Modellkarte dokumentiert mehrere Einschränkungen:

  • Die Architektur erforderte mitgelieferten Modellcode anstelle nativer Upstream-Unterstützung.
  • Die dokumentierte MLX-LM-Serverintegration konnte K2s Format für Tool-Aufrufe nicht parsen.
  • Thinking-Tags konnten im gewöhnlichen Antwortinhalt verbleiben.
  • Der angegebene KV-Cache-Bedarf lag bei etwa 192 KB pro Token, also ungefähr 24 GB bei 128K Kontext, noch ohne den übrigen Runtime-Speicher.

Diese Einschränkungen machen K2 zu einer experimentellen Wahl für diese Hardwarekonfiguration, insbesondere wenn zuverlässige Werkzeugnutzung oder lange Kontexte erforderlich sind. Die Größe der Gewichte allein belegt nicht den praktischen Speicherbedarf.7

Occamy 1.0: eine weitere Qwen3.6-basierte Spezialisierung

Occamy 1.0 ist ein weiterer Abkömmling von Qwen3.6-35B-A3B mit zusätzlichem Post-Training für Agenten-Workflows, die Dateien, Anwendungszustände und APIs einbeziehen.

Der Anbieter nennt etwa 28,17 GB für sein MLX-6-Bit-Paket und 19,51 GB für MLX 4 Bit. Die Dokumentation hielt zum Zeitpunkt der Momentaufnahme jedoch ausdrücklich fest, dass die Abnahme für Metal auf dem Mac noch ausstand.

Damit gehört Occamy eher auf die Beobachtungsliste als vor die etablierteren Ausgangsoptionen. Die Verfügbarkeit eines MLX-Downloads darf nicht mit einer abgeschlossenen Validierung des vollständigen Workflows auf einem Mac verwechselt werden.8

5. Bonsai: Eine 7,2-GB-Datei ist kein Modell mit 7,2 Milliarden Parametern

Bonsai ist für lokale Inferenz interessant, gehört aber in eine eigene Kategorie.

Ein gelisteter Download von etwa 7,2 GB kann sich auf ein komprimiertes Modell der 27B-Klasse beziehen. Das bedeutet weder, dass das Modell 7,2 Milliarden Parameter besitzt, noch weist die Dateigröße auf eine MoE-Architektur hin.

Die frühere Veröffentlichung Bonsai 27B basierte auf Qwen3.6-27B.22 Das aktuelle Modell Ternary Bonsai 2 27B in dieser Momentaufnahme ist ein dichter Abkömmling von Qwen3.8-27B. Keines von beiden sollte mit dem MoE-Modell Qwen3.6-35B-A3B verwechselt werden. Bonsai 2s ternäre Darstellung verwendet die drei Gewichtswerte −1, 0 und +1 zusammen mit Skalen und spezialisierten Transformationen.9

Verfügbare Pakete

Paket Ungefährer Download Enthaltene Komponenten
GGUF PTQ1_0 5,95 GB Sprachmodell
GGUF PQ2_0 7,21 GB Sprachmodell
Optionale GGUF-Q8-Vision-Komponente zusätzliche 0,63 GB Vision-Komponente
MLX 2 Bit insgesamt 8,60 GB Sprach- und Vision-Komponenten

Diese Größen gelten jeweils für das konkrete Paket und sollten unter Berücksichtigung der darin enthaltenen Komponenten verglichen werden.910

Der Loader ist entscheidend

Die genannten GGUF-Pakete benötigen Prisms Fork von llama.cpp. Das genannte MLX-Paket setzt den mitgelieferten rotationsbewussten Loader voraus. Ein allgemeiner Loader ist nicht automatisch kompatibel; der falsche Ladeweg kann die Datei ablehnen oder falsche Ausgaben erzeugen.910

Verwenden Sie die dokumentierte Einrichtung des Pakets und das Bonsai-Demo-Repository des Anbieters, statt einen automatisch generierten Anwendungsausschnitt als Nachweis der Unterstützung zu betrachten.

Meine eigenen Tests umfassten Bonsai, allerdings führe ich hier keine Geschwindigkeitsmessungen daraus an. Ergebnisse von einem anderen Mac oder einer früheren Bonsai-Version müssen nicht auf die von Ihnen verwendete Version und Konfiguration übertragbar sein.

Empfehlung: Untersuchen Sie Bonsai, wenn die Reduzierung von Downloadgröße und Gewichtespeicher Priorität hat und zusätzlicher Einrichtungsaufwand vertretbar ist. Messen Sie Qualität und Geschwindigkeit, statt anzunehmen, dass der kleinste Download insgesamt die effizienteste Wahl ist.

6. Was 64 GB gemeinsamer Arbeitsspeicher tatsächlich erlauben

Der M2 Max nutzt gemeinsamen Arbeitsspeicher für CPU, GPU, Betriebssystem und Anwendungen. Die beworbenen 64 GB bilden daher den gemeinsamen Speicherpool des Rechners und nicht eine separate 64-GB-GPU-Zuweisung zusätzlich zum Systemspeicher.23

Für die Planung gelten folgende Richtwerte:

  • Etwa 20–35 GB große Modelldownloads sind ein komfortabler Ausgangsbereich, wenn Browser, Editor und andere Anwendungen geöffnet bleiben sollen.
  • Etwa 45 GB können für ein einzelnes größeres Modell praktikabel sein, erfordern aber mehr Aufmerksamkeit für Kontext, Runtime-Zuweisungen und andere Anwendungen.
  • Ein Paket, das auf die Festplatte passt oder dessen Gewichte kleiner als 64 GB sind, läuft während der Inferenz nicht automatisch komfortabel.

Diese Bereiche sind praktische Empfehlungen und keine festen Hardwaregrenzen.

Die Downloadgröße ist nicht der gesamte Inferenzspeicher

Der tatsächliche Speicherbedarf kann Folgendes umfassen:

  • Modellgewichte und zusätzliche Vision-Komponenten.
  • Den KV-Cache, der Attention-Informationen für den aktuellen Kontext speichert, sowie architekturspezifische rekurrente Zustände.
  • Temporäre Puffer bei der Verarbeitung von Prompts.
  • Speicherzuweisungen der Runtime und des Frameworks.
  • macOS und weitere laufende Anwendungen.

Der Zusammenhang zwischen Kontextlänge und Speicherbedarf hängt von Architektur und Runtime ab. Die Cache-Schätzung eines Modells sollte nicht für ein anderes wiederverwendet werden.

Die Downloadangaben in diesem Artikel folgen den Repository-Listen und verwenden im Allgemeinen dezimale GB. Werkzeuge können Speicher in GiB angeben oder Werte anders bezeichnen. Die folgenden Benchmark-Speichermessungen werden wie veröffentlicht wiedergegeben; sie stellen keine zweite Schätzung der Downloadgröße dar.

Mit einem moderaten Kontextfenster beginnen

Beginnen Sie mit einem 16K- oder 32K-Kontext und erhöhen Sie ihn, wenn die Aufgabe davon profitiert und genügend Speicher verfügbar bleibt. Das ist eine Ausgangskonfiguration, keine Behauptung über das Maximum.

Sehr große beworbene Kontextfenster sind Fähigkeiten des Modells. Ihre praktische Nutzung hängt vom verfügbaren Speicher, der Runtime, der Cache-Verwaltung und der für das Einlesen des Prompts benötigten Zeit ab.

Beim Laden eines vollständigen Repositorys kann die Prompt-Verarbeitung zur vorherrschenden Verzögerung werden. Bei Reasoning-Modellen kann die Erzeugung vieler Thinking-Token zudem die Wartezeit vor der endgültigen Antwort verlängern. Die Tokenrate allein bildet keine der beiden Erfahrungen vollständig ab.

7. Was veröffentlichte Messungen auf einem M2 Max nahelegen

Die folgenden Ergebnisse sind historische Beispiele von der Benchmark-Website oMLX. Sie wurden auf M2-Max-Systemen mit 64 GB RAM und 30 GPU-Kernen sowie mit bestimmten Modellpaketen und Softwareversionen ermittelt.

Diese Werte stammen aus veröffentlichten Benchmarks und sind von meinen eigenen Tests mit Bonsai, KAT und Qwen getrennt. Sie stellen keinen aktuellen, kontrollierten Vergleich der empfohlenen Downloads dar.

Qwen3.6-35B-A3B, MLX 5 Bit

Ein Ergebnis vom 12. Mai 2026 mit oMLX 0.3.9.dev1 meldete:

Prompt-Größe Generierungsgeschwindigkeit Gemeldeter Spitzenspeicher
4K 72.5 Token/s 24.6 GB
16K 62.0 Token/s 25.8 GB
32K 50.4 Token/s 27.3 GB

Das belegt, dass das Modell auf dieser Hardwareklasse sinnvoll einsetzbar ist. Die Messungen verwendeten ein 5-Bit-Paket; die Geschwindigkeiten können beim oben empfohlenen 6-Bit-Paket abweichen.24

Qwen3-Coder-Next, MLX 4 Bit

Ein Ergebnis vom 9. Mai 2026 mit oMLX 0.3.8 und einem 4K-Prompt meldete:

Metrik Gemeldetes Ergebnis
Generierungsgeschwindigkeit 56.1 Token/s
Geschwindigkeit der Prompt-Verarbeitung 461.2 Token/s
Zeit bis zum ersten Token 8.88 Sekunden
Spitzenspeicher 44.0 GB

Das stützt die Annahme, dass das größere Modell in dieser getesteten Konfiguration auf einem M2 Max mit 64 GB einsetzbar ist. Einen komfortablen Betrieb mit dem maximalen Kontext des Modells belegt es nicht.25

Die tatsächlichen Ergebnisse variieren je nach GPU-Konfiguration des M2 Max, Runtime-Version, Quantisierung, Prompt, Kontextlänge, thermischen Bedingungen und gleichzeitig laufenden Anwendungen.

8. Wahl der Runtime auf Apple Silicon

MLX

MLX-Pakete sind ein natürlicher Ausgangspunkt für Apple Silicon. Das Projekt MLX-LM stellt Werkzeuge für lokale Inferenz bereit, während kompatible Anwendungen eine grafische Oberfläche oder lokale API anbieten können.2627

Bei den regulären Paketen dieser Vorauswahl lohnt es sich, MLX zuerst zu testen. Prüfen Sie die genaue Modellkarte auf Architekturunterstützung und Ladeanweisungen, insbesondere bei K2 und Bonsai.

GGUF mit einer Metal-fähigen Runtime

GGUF ist der andere praktische Weg, üblicherweise über auf llama.cpp basierende Software mit Metal-Beschleunigung. Es ist besonders für die oben aufgeführten konkreten KAT-Downloads relevant.327

Die Dateiendung .gguf garantiert nicht, dass jede Runtime die Datei laden kann. Sowohl die Modellarchitektur als auch das Quantisierungsformat müssen unterstützt werden. Bonsais eigene Formate sind ein anschauliches Beispiel.9

Anforderungen von LM Studio und macOS

LM Studio ist eine komfortable Einstiegsanwendung, da es lokale MLX- und GGUF-Workflows unterstützt und eine lokale API bereitstellen kann.27

Zum Zeitpunkt der Momentaufnahme galt:

  • LM Studio erforderte macOS 14 oder neuer auf Apple Silicon.28
  • MLX-LM dokumentierte für seine Optimierung zur Fixierung von Speicher eine Anforderung von macOS 15 oder neuer.26

Der M2-Max-Prozessor allein belegt nicht, dass die installierte macOS-Version die Anforderungen einer bestimmten Anwendung erfüllt.

9. Eine sinnvolle Reihenfolge für den Modellvergleich

Für eine vielseitig einsetzbare Konfiguration:

  1. Beginnen Sie mit Qwen3.6-35B-A3B MLX 6 Bit. Verwenden Sie es als Basis für den Vergleich von Qualität, Reaktionsgeschwindigkeit und Speicherbedarf.
  2. Vergleichen Sie eine kleinere Alternative. Gemma 4 ist relevant, wenn Bildeingaben wichtig sind; Nemotron eignet sich für Text- und Agenten-Aufgaben.
  3. Testen Sie KAT-Coder-V2.5-Dev, wenn Coding dominiert. Vergleichen Sie es anhand derselben Repository-Aufgaben und desselben Werkzeug-Workflows.
  4. Probieren Sie Qwen3-Coder-Next aus, wenn sich ein größeres Coding-Modell rechtfertigen lässt. Beginnen Sie mit einem moderaten Kontext und nur einem geladenen Modell.
  5. Behandeln Sie K2, Occamy und Bonsai als zusätzliche Experimente. Ihre jeweiligen Einschränkungen bei Integration, Validierung oder Laden gehören zur Entscheidungsgrundlage.

Verwenden Sie eine kleine Auswahl repräsentativer Aufgaben: eine echte Codeänderung, ein langes Dokument, ein Reasoning-Problem, gegebenenfalls eine Bildeingabe und die im Alltag verwendeten Sprachen. Erfassen Sie Antwortqualität, Zeit bis zum ersten Token, gesamte Ausführungszeit und Speicherdruck.

Die erste Wahl für diese Hardware bleibt Qwen3.6-35B-A3B als etwa 29,1 GB großes MLX-6-Bit-Paket. KAT ist in dieser Vorauswahl die unmittelbar relevanteste Coding-Spezialisierung von Qwen3.6; Coder-Next ist die größere Coding-Option. Bonsai ist wegen seiner Komprimierung einen Blick wert, sollte aber als dichtes Modell mit einem spezialisierten Runtime-Pfad bewertet werden.


Quellen und Einschränkungen der Momentaufnahme

Die Modellkarten der Anbieter belegen Architektur, vorgesehenen Einsatzzweck und Veröffentlichungsdetails. Repositories für Quantisierungen belegen die ungefähren Paketgrößen und Ladeanforderungen. Anbieter-Benchmarks, unabhängige Benchmark-Dienste und Runtime-Messungen aus der Community beantworten unterschiedliche Fragen und sollten nicht als austauschbare Belege behandelt werden.

Dieser Artikel basiert auf Recherchen, die am 8. Oktober 2026 abgeschlossen wurden. Änderungen an Paketen und Runtime-Aktualisierungen nach dem Recherchedatum können die praktischen Empfehlungen verändern.

  1. Qwen, Modellkarte für Qwen3.6-35B-A3B. ↩ ↩2 ↩3

  2. MLX Community, Paketdateien für Qwen3.6-35B-A3B mit 6 Bit. ↩ ↩2 ↩3

  3. Bartowski, GGUF-Pakete und Größentabelle für KAT-Coder-V2.5-Dev. ↩ ↩2 ↩3

  4. MLX Community, 4-Bit-Paketdateien für Qwen3-Coder-Next. ↩ ↩2

  5. MLX Community, 4-Bit-Paketdateien für Gemma 4 26B-A4B IT. ↩ ↩2

  6. MLX Community, 4-Bit-Paket für Nemotron 3.5 Lightning. ↩ ↩2

  7. MLX Community, K2-Horizon-Paket mit gemischter Präzision, Cache-Schätzung und Integrationseinschränkungen. ↩ ↩2

  8. Accio Lab, Modellkarte, Pakete und Validierungsstatus für Occamy 1.0. ↩ ↩2

  9. Prism ML, GGUF-Modellkarte, Formate und benötigte Runtime für Ternary Bonsai 2 27B. ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  10. Prism ML, MLX-2-Bit-Paket und Loader-Anforderungen für Ternary Bonsai 2 27B. ↩ ↩2 ↩3 ↩4

  11. MLX Community, Paketdateien für Qwen3.6-35B-A3B mit 4 Bit. ↩ ↩2

  12. LM Studio, Modellseite für Qwen3.6. ↩

  13. MLX Community, Paketdateien für Qwen3.6-35B-A3B mit 8 Bit. ↩

  14. Kwaipilot, Modellkarte und Anbieter-Evaluierungen für KAT-Coder-V2.5-Dev. ↩ ↩2

  15. Qwen, Modellkarte für Qwen3-Coder-Next. ↩ ↩2

  16. Google, Modellkarte für Gemma 4 26B-A4B IT. ↩

  17. NVIDIA, Modellkarte für Nemotron 3.5 Lightning 30B-A3B. ↩

  18. GGML, GGUF-Pakete für Nemotron 3.5 Lightning. ↩

  19. IFM, Modellkarte für K2-Horizon-MoVA-36B-A4B. ↩

  20. Artificial Analysis, Evaluierung von K2-Horizon-MoVA-36B-A4B. Der Wert stammt aus der Momentaufnahme der Recherche und stellt keine dauerhafte Rangfolge dar. ↩

  21. Artificial Analysis, Vergleichsseite für Qwen3.6-35B-A3B. Der Qwen-Wert stammt aus derselben Momentaufnahme der Recherche. ↩

  22. Prism ML, Ankündigung des ursprünglichen Bonsai 27B und Abstammung von Qwen3.6-27B, 14. Juli 2026. ↩

  23. Apple, Ankündigung zur Architektur und zum gemeinsamen Arbeitsspeicher von M2 Pro und M2 Max. ↩

  24. oMLX, 5-Bit-Benchmark für Qwen3.6-35B-A3B auf einem M2 Max mit 64 GB, 12. Mai 2026. ↩

  25. oMLX, 4-Bit-Benchmark für Qwen3-Coder-Next auf einem M2 Max mit 64 GB, 9. Mai 2026. ↩

  26. ML Explore, Dokumentation zu MLX-LM. ↩ ↩2

  27. LM Studio, MLX-Unterstützung und lokale Inferenz-Workflows. ↩ ↩2 ↩3

  28. LM Studio, Systemanforderungen. ↩