Vor einer Weile beobachtete ich, wie eine Retrieval-Pipeline genau das eine Dokument verlor, das zählte. Ein Preismemorendum, vergraben in einem 40-Dokumente-Set, landete lautlos auf Rang 51, als wir die Top 50 zurückgaben. Der Agent fasste die anderen 49 zusammen und lieferte dem Kunden eine selbstsichere Zahl. Die falsche Zahl. Die Lösung war kein größeres Kontextfenster. Es war die Reparatur des Rankers.
Diese Geschichte halte ich parat, wann immer sich jemand über ein LLM mit 12-Millionen-Token-Kontext begeistert, denn der Pitch ist immer derselbe: „Wirf einfach alles in den Prompt, und das Problem verschwindet." Tut es nicht. Lass mich erklären, warum, und was tatsächlich kommt.
Zunächst die ehrliche Einschränkung. Es gibt kein ausgeliefertes 12-Millionen-Modell, während ich das schreibe. Die Frontier liegt bei 1 Million Token — Claude Opus 4.8 und Fable 5 laufen beide mit einem 1-Millionen-Token-Kontextfenster, und Geminis Long-Context-Linie liegt im selben Bereich. Alles Folgende ist Analyse, kein Benchmark, den ich durchgeführt habe. Ich denke lieber über die Physik nach, als eine Keynote nachzubeten.
Warum ein LLM mit 12-Millionen-Token-Kontext subquadratische Attention braucht
Hier ist die Mauer. Standardmäßige Attention skaliert mit dem Quadrat der Sequenzlänge. Multipliziere deine Eingabe mit zwölf, und die Attention-Kosten steigen um zwölf im Quadrat — 144-facher Rechen- und Speicheraufwand für die Attention-Matrix. Das kaufst du dir nicht mit mehr H100s frei. Der einzige Weg durch ist eine andere Mathematik.
Das ist die gesamte subquadratische Forschungslinie. Zustandsraummodelle wie Mamba, lineare und dünn besetzte Attention-Varianten, RWKV-artige Rekurrenzen und die Hybrid-Designs, die einige echte Attention-Schichten auf ein überwiegend lineares Backbone aufschrauben. Das Mamba-Paper berichtet von linearer Skalierung in der Sequenzlänge und etwa 5-fach höherem Inferenz-Durchsatz als vergleichbare Transformer, bei stabiler Qualität bis in Millionen-lange Sequenzen.
Doch dasselbe Paper ist offen über den Haken. Die Autoren merken an, dass diese Architekturen „nicht so gut wie Attention auf wichtigen Modalitäten wie Sprache abgeschnitten haben." Diese Lücke ist das gesamte Spiel. Lineare Attention ist billig, weil sie die Vergangenheit in einen fixgroßen Zustand presst, und pressen bedeutet vergessen. Die einzige Frage, die zählt, ist ob sie genau das vergisst, was du gebraucht hättest. Hybride sind hier die kluge Wette — behalte einige vollständige Attention-Schichten für Präzision, fahre den Rest subquadratisch für das Volumen. Du verlierst die Garantie, dass jedes Token jeden anderen Token sieht. Bei 12 Millionen Token konntest du dir diese Garantie sowieso nie leisten.
Der Ausfallmodus, den niemand einkalkuliert: Kontext-Verfall
Wir können die 1-Millionen-Fenster, die wir schon haben, nicht vollständig nutzen. Das ist der Teil, der mich gegenüber dem gesamten Rahmen von „mehr Kontext behebt alles" skeptisch macht.
Chromas Forschung zu Kontext-Verfall testete eine breite Palette von Frontier-Modellen und stellte fest, dass die Genauigkeit mit wachsender Eingabe abnimmt, selbst wenn das Fenster bei weitem nicht voll ist. Füge Token hinzu, verliere Genauigkeit. Es ist ein Attention-Verdünnungsproblem, kein Kapazitätsproblem.
Das klassische Symptom ist „Lost in the Middle". Liu et al. (2023) zeigte, dass Modelle Anfang und Ende einer langen Eingabe gut beachten und das, was in der Mitte vergraben liegt, schlecht, mit stark sinkender Genauigkeit, wenn die relevante Information an der falschen Stelle sitzt. Stell dir das jetzt bei 12 Millionen Token vor, auf einem subquadratischen Backbone, das bereits von Design her verlustbehaftet ist. Du stapelst architektonisches Vergessen auf top positioneller Verdünnung.
Und Retrieval ist kein Reasoning — das ist die Falle, in die Menschen tappen. Ein Modell kann den Nadel-im-Heuhaufen-Test gewinnen, einen eingepflanzten Satz in 10 Millionen Token finden, und trotzdem vollständig scheitern, eine Schlussfolgerung aus vierzig über denselben Heuhaufen verstreuten Fakten zu synthetisieren. Einen Fakt zu finden ist ein Lookup. Über viele Fakten zu schlussfolgern ist etwas anderes, Schwereres, und härtere Long-Context-Evaluierungen wie NoLiMa, die über buchstäbliches Keyword-Matching hinausgehen, legen diese Lücke immer wieder offen. Ein 12-Millionen-Nadeltest-Sieg sagt dir fast nichts darüber, ob das Modell über den Heuhaufen nachdenken kann.
Eine realistische Zeitachse für ein LLM mit 12-Millionen-Token-Kontext
Ich verpflichte mich auf eine Spanne, mit dem Vorbehalt, dass ich Zeitachsen-Prognosen schon früher falsch hatte.
12 bis 24 Monate: Forschungs- und Demo-tauglicher 12-Millionen-Kontext, hauptsächlich hybride Architekturen, mit Sternchen. Starke Nadelsuche, wackeliges dokumentenübergreifendes Reasoning. Die Sorte, die in Benchmarks gut abschneidet und in deiner Agenten-Schleife enttäuscht.
24 bis 48 Monate: Produktionszugang, bei dem die Reasoning-Qualität in der Tiefe gut genug ist, um echte Arbeit zu vertrauen, die Prefill-Latenz akzeptabel ist und der Preis nicht absurd ist. Diese letzte Klausel trägt den Großteil des Gewichts.
Die Wirtschaftlichkeit ist brutal, selbst wenn die Architektur stimmt. Ein 12-Millionen-Prefill ist eine Rechenmauer, bevor das Modell auch nur ein einziges Output-Token ausgibt. Sekunden bis Minuten Latenz, und eine Rechnung dazu. Heute läuft Opus 4.8 bei 5 Dollar pro Million Eingabe-Token. Ein kalter 12-Millionen-Prefill kostet allein an Eingabe 60 Dollar, jedes Mal, es sei denn, Caching rettet dich. Prompt-Caching hört auf, ein Nice-to-Have zu sein, und wird tragend. Das Problem: Caching hilft nur, wenn dein Präfix stabil ist, und in einer Agenten-Schleife ist es das häufig nicht.
Wie du deinen Agenten-Workflow vorbereitest
Du wartest nicht auf 12 Millionen. Du baust so, als kämen sie, und so, als würden sie dich nicht retten.
Hör auf, das Kontextfenster als Schublade für alles Mögliche zu behandeln. Der Impuls wird sein, die gesamte Codebasis, jedes Dokument, die vollständige Chat-Historie reinzuwerfen und das Modell sortieren zu lassen. So löst du Kontext-Verfall aus. Die Teams, die bei großen Fenstern gewinnen werden, sind jene, die bei kleinen diszipliniert geworden sind.
Ein paar Dinge, die es jetzt wert sind zu tun. Baue Retrieval auf, dem du wirklich vertraust, damit das Modell die richtigen 50.000 Token sieht statt der falschen 12 Millionen — und ja, das bedeutet, den Fall abzufangen, wo das relevante Dokument auf Rang 51 landet. Behandle Memory als expliziten Speicher, den der Agent liest und beschreibt, Dateien oder eine Datenbank oder strukturierte Notizen, nicht „scroll rauf in der Transkription". Entferne veraltete Tool-Ergebnisse und fasse abgeschlossene Teilaufgaben zusammen, damit das Arbeitsset schlank bleibt. Jede dieser Fähigkeiten überträgt sich. Keine wird obsolet, wenn das Fenster größer wird.
Wenn dein Agent nur funktioniert, weil du alles in einen Prompt stopfen kannst, behebt ein 12-Millionen-Fenster dein Design nicht. Es erlaubt dir, in größerem Maßstab und zu höheren Kosten zu scheitern.
Ist der Kontext der Engpass?
Nein. Und das ist die Position, die ich verteidige.
Rohe Kontextlänge ist die Zahl auf dem Datenblatt. Leicht zu vermarkten, leicht mit einem Nadeltest zu benchmarken, leicht mit Fortschritt zu verwechseln. Der echte Engpass für die agentische Arbeit, die die meisten von euch machen, ist Retrieval, Memory und Agenten-Design. Die Frage war nie „kann das Modell 12 Millionen Token halten." Sie ist „kann es die richtigen Token finden, gewichten und darüber schlussfolgern" — und ein größerer Heuhaufen macht das strikt schwerer.
Gib mir ein 200K-Modell mit chirurgischem Retrieval vor einem 12-Millionen-Modell, das in der Mitte verrottet. Jeden Tag der Woche. Ein LLM mit 12-Millionen-Token-Kontext wird, wenn es erscheint, ein echtes Werkzeug für einige echte Probleme sein: Analyse des gesamten Repos, langfristige Agenten, die wirklich den Verlauf brauchen. Für das meiste, was du baust, wird es eine teurere Art sein, denselben Fehler zu machen, den meine Pipeline machte — selbstsicher die falsche Zahl zu liefern, weil die richtige es nie in die Aufmerksamkeit des Modells schaffte.
Der Kontext ist nicht das Schwierige. Zu entscheiden, was hineinkommt, ist die ganze Arbeit.