Há algum tempo assisti a um pipeline de recuperação deixar cair o único documento que importava. Um memorando de preços, enterrado num conjunto de 40 documentos, classificou silenciosamente em 51º lugar quando retornávamos os 50 primeiros. O agente resumiu os outros 49 e enviou um número confiante para um cliente. Número errado. A solução não foi uma janela de contexto maior. Foi corrigir o classificador.
Guardo essa história no bolso sempre que alguém fica animado com um LLM com contexto de 12M tokens, porque o argumento de venda é sempre "coloca tudo no prompt e o problema desaparece." Não desaparece. Deixa eu explicar por quê, e o que está de fato chegando.
Primeiro, o aviso honesto. Não existe nenhum modelo de 12M lançado enquanto escrevo isso. A fronteira está em 1M tokens — Claude Opus 4.8 e Fable 5 ambos rodam uma janela de contexto de 1M, e a linha de contexto longo do Gemini está no mesmo patamar. Tudo abaixo é análise, não um benchmark que rodei. Prefiro raciocinar sobre a física do que recitar uma keynote.
Por que um LLM com contexto de 12M tokens precisa de atenção sub-quadrática
Aqui está a parede. A atenção padrão escala com o quadrado do comprimento da sequência. Multiplique sua entrada por doze e o custo de atenção sobe por doze ao quadrado — 144 vezes o processamento e a memória para a matriz de atenção. Você não compra uma saída para isso com mais H100. A única saída é mudar a matemática.
Essa é toda a linha de pesquisa sub-quadrática. Modelos de espaço de estados como Mamba, variantes de atenção linear e esparsa, recorrências estilo RWKV, e os designs híbridos que adicionam algumas camadas de atenção completa sobre uma espinha dorsal principalmente linear. O artigo do Mamba reporta escalonamento linear no comprimento da sequência e aproximadamente 5 vezes mais throughput de inferência que Transformers comparáveis, com qualidade se mantendo em sequências de comprimento milionário.
Mas o mesmo artigo é direto sobre o problema. Os autores observam que essas arquiteturas "não tiveram desempenho tão bom quanto a atenção em modalidades importantes como a linguagem." Essa lacuna é todo o jogo. A atenção linear é barata porque comprime o passado num estado de tamanho fixo, e comprimir significa esquecer. A única pergunta que importa é se ela esquece o que você precisava. Os híbridos são a aposta inteligente aqui — mantém algumas camadas de atenção completa para precisão, roda o resto sub-quadrático em volume. Você perde a garantia de que cada token vê todos os outros. Com 12M tokens, você nunca poderia arcar com essa garantia de qualquer forma.
O modo de falha que ninguém precifica: apodrecimento de contexto
Não conseguimos usar plenamente as janelas de 1M que já temos. Essa é a parte que me deixa cético em relação ao enquadramento de "mais contexto resolve tudo."
A pesquisa da Chroma sobre apodrecimento de contexto testou um amplo conjunto de modelos de ponta e descobriu que a precisão piora à medida que a entrada cresce, mesmo quando a janela está longe de estar cheia. Adicione tokens, perca precisão. É um problema de diluição de atenção, não de capacidade.
O sintoma clássico é "perdido no meio." Liu et al. (2023) mostrou que os modelos prestam boa atenção ao início e ao fim de uma entrada longa e má atenção ao que está enterrado no meio, com a precisão caindo abruptamente quando o fato relevante está no lugar errado. Agora imagine isso com 12M tokens, numa espinha dorsal sub-quadrática que já é com perdas por design. Você está empilhando esquecimento arquitetural sobre diluição posicional.
E recuperação não é raciocínio — essa é a armadilha em que as pessoas caem. Um modelo pode ganhar no teste da agulha no palheiro, encontrando uma frase plantada em 10M tokens, e ainda assim falhar completamente em sintetizar uma conclusão a partir de quarenta fatos espalhados por esse mesmo palheiro. Encontrar um fato é uma busca. Raciocinar sobre muitos fatos é algo diferente e mais difícil, e avaliações de contexto longo mais difíceis como NoLiMa, que vão além da correspondência literal de palavras-chave, continuam expondo a lacuna. Ganhar um teste de agulha de 12M te diz quase nada sobre se o modelo consegue pensar sobre o palheiro.
Uma linha do tempo realista para um LLM com contexto de 12M tokens
Vou me comprometer com um intervalo, com a ressalva de que já errei previsões de linha do tempo antes.
12 a 24 meses: contexto de 12M de nível de pesquisa e demonstração, principalmente arquiteturas híbridas, com asteriscos. Forte recuperação de agulhas, raciocínio entre documentos instável. O tipo de coisa que tem bom desempenho em benchmarks e decepciona dentro do seu loop de agente.
24 a 48 meses: acesso em produção onde a qualidade do raciocínio em profundidade é boa o suficiente para confiar em trabalho real, a latência de prefill é tolerável, e o preço não é absurdo. Essa última cláusula carrega a maior parte do peso.
A economia é brutal mesmo que a arquitetura funcione. Um prefill de 12M é uma parede de computação antes que o modelo emita um único token de saída. Segundos a minutos de latência, e uma conta correspondente. Hoje Opus 4.8 custa 5 dólares por milhão de tokens de entrada. Um prefill frio de 12M é de 60 dólares só em entrada, toda vez, a menos que o cache te salve. O cache de prompt deixa de ser um bônus e se torna estrutural. O problema é que o cache só ajuda quando o seu prefixo é estável, e num loop de agente frequentemente não é.
Como preparar seu fluxo de trabalho de agente
Você não espera por 12M. Você constrói como se estivesse chegando e como se não fosse te salvar.
Pare de tratar a janela de contexto como uma gaveta de lixo. O instinto vai ser despejar todo o seu codebase, cada documento, o histórico completo do chat, e deixar o modelo resolver. É assim que você aciona o apodrecimento de contexto. As equipes que vencerão com janelas grandes são as que se disciplinaram com as pequenas.
Algumas coisas que valem a pena fazer agora. Construa um retrieval no qual você realmente confia, para que o modelo veja os 50K tokens certos em vez dos 12M errados — e sim, isso significa capturar o caso em que o documento que importa fica em 51º lugar. Trate a memória como um armazenamento explícito que o agente lê e escreve, arquivos ou um banco de dados ou notas estruturadas, não "rola para cima na transcrição." Elimine resultados de ferramentas obsoletos e resuma sub-tarefas concluídas para manter o conjunto de trabalho enxuto. Cada uma dessas habilidades se transfere. Nenhuma fica obsoleta quando a janela fica maior.
Se o seu agente só funciona porque você pode enfiar tudo num prompt, uma janela de 12M não corrige o seu design. Ela permite que você falhe em maior escala e custo mais alto.
O contexto é o gargalo?
Não. E essa é a posição que vou defender.
O comprimento de contexto bruto é o número da ficha técnica. Fácil de comercializar, fácil de fazer benchmark com um teste de agulha, fácil de confundir com progresso. O gargalo real para o trabalho agentivo que a maioria de vocês faz é recuperação, memória e design do agente. A pergunta nunca foi "o modelo consegue manter 12M tokens." É "ele consegue encontrar, ponderar e raciocinar sobre os tokens certos" — e um palheiro maior torna isso estritamente mais difícil.
Me dê um modelo de 200K com recuperação cirúrgica em vez de um modelo de 12M que azieda no meio. Todos os dias da semana. Um LLM com contexto de 12M tokens, quando for lançado, será uma ferramenta genuína para alguns problemas genuínos: análise de repositório inteiro, agentes de longo horizonte que realmente precisam do histórico. Para a maioria do que você constrói, será uma forma mais cara de cometer o mesmo erro que meu pipeline cometeu — enviar com confiança o número errado porque o certo nunca chegou à atenção do modelo.
O contexto não é a parte difícil. Decidir o que vai nele é todo o trabalho.