Janela de contexto: por que a IA \"esquece\" a conversa

A cena se repete em todo treinamento que dou. Alguém passou uma hora numa conversa produtiva com o ChatGPT: explicou o projeto, definiu o tom, deu exemplos, combinou regras. Lá pela mensagem 40, a IA entrega um texto que ignora tudo que foi combinado. Volta o tom formal que tinha sido proibido, some a regra do começo, e a pessoa conclui que a ferramenta “bugou”. A pessoa manda em maiúsculas: “EU JÁ FALEI PRA NÃO FAZER ISSO”. A IA pede desculpas, acerta uma vez e erra de novo três mensagens depois. Aí vem a conclusão apressada: “essa ferramenta só serve pra tarefa curta”. A conclusão está errada, e o motivo é físico.

O que aconteceu tem nome e tem limite físico. Janela de contexto é a memória de trabalho da IA: a quantidade máxima de texto, medida em tokens, que o modelo consegue enxergar de uma vez ao gerar cada resposta. Tudo conta dentro dela: suas mensagens, as respostas dele, os documentos que você colou. Quando a conversa cresce além desse espaço, o que está mais longe começa a sair de cena. A IA respondeu ignorando suas regras porque, no momento daquela resposta, suas regras já estavam fora do campo de visão dela.

A analogia que uso desde o meu livro: é como conversar com alguém brilhante que só lembra dos últimos cinco minutos. Enquanto o assunto cabe nos cinco minutos, a conversa é ótima. Passou disso, ele segue conversando com fluência total, mas apoiado só no trecho recente. Ele nunca avisa que esqueceu. Preenche as lacunas com suposição e segue em frente, confiante.

Como funciona essa memória, na prática?

Aqui está o detalhe que quase ninguém te conta: o modelo não tem memória entre uma resposta e outra. A cada mensagem sua, a ferramenta reenvia a conversa inteira pro modelo, do zero, e ele relê tudo antes de gerar a próxima resposta. A sensação de continuidade é reconstruída a cada rodada.

A janela de contexto é o tamanho máximo desse “tudo”. Ela é medida em tokens, os pedaços de texto que expliquei no artigo sobre o que é token. Os modelos atuais trabalham com janelas que vão de algumas dezenas de milhares a mais de um milhão de tokens, dependendo da ferramenta e do plano. Parece infinito, e não é: um contrato longo, algumas planilhas e uma tarde de conversa consomem espaço mais rápido do que você imagina.

E tem um efeito ainda mais traiçoeiro que o esquecimento total: a degradação. Mesmo quando tudo tecnicamente cabe na janela, modelos tendem a dar mais atenção ao início e ao fim do contexto, e menos ao miolo. Conversa muito longa e entulhada produz respostas piores mesmo sem estourar limite nenhum. Quem já sentiu a qualidade caindo aos poucos num chat gigante estava vendo isso acontecer.

Por que a IA não avisa que esqueceu?

Porque ela não sabe que esqueceu. O modelo gera a resposta mais plausível com base no que enxerga naquele momento. Se a sua instrução do início já saiu da janela, ela simplesmente não existe pra ele, e ele responde do jeito padrão, com a mesma segurança de sempre. É o mesmo mecanismo que faz a IA inventar informação com confiança, que detalhei no artigo sobre alucinação de IA: o modelo preenche lacunas com o provável, sem sinalizar a lacuna.

Grava esta regra: a fluência da resposta não te diz nada sobre quanto do contexto ela realmente considerou. O texto bonito da mensagem 50 pode ter sido escrito “lembrando” só um pedaço da conversa.

Como trabalhar bem com uma memória limitada?

Depois de anos usando IA todo dia, quatro hábitos resolvem quase tudo.

Uma: conversa nova pra cada tarefa. Chat de análise de contrato serve pra analisar aquele contrato. Acabou a tarefa, novo chat. Conheço gente que mantém um único chat eterno com “tudo da empresa” dentro e reclama que as respostas viraram sopa depois da terceira semana. O chat não bugou. Ele afogou.

Dois: recomece com resumo. Quando um chat longo começar a patinar, peça: “resuma tudo que definimos até aqui: objetivo, regras, decisões”. Copie o resumo, abra uma conversa nova e cole como primeira mensagem. Você acabou de transferir o essencial pra uma memória limpa. No meu uso diário, faço isso sempre que uma conversa de trabalho pesado passa de umas 30 mensagens. Esse truque, sozinho, vale o artigo.

Três: informação importante vai no fim, perto do pedido. Em vez de confiar que a IA vai lembrar da regra dita 30 mensagens atrás, repita a regra crítica junto do pedido atual. Custa uma linha e elimina a principal fonte de frustração.

Quatro: instrução permanente vai em lugar permanente. Se você repete o mesmo contexto toda semana, seu perfil, seu público, seu tom, use os recursos de instrução fixa das ferramentas, como Projetos e GPTs personalizados, que injetam esse contexto automaticamente em toda conversa. Mostro como montar isso no artigo sobre Projetos, GPTs e Gems.

As janelas estão crescendo. O problema vai acabar?

Objeção justa: se os modelos de 2022 enxergavam poucas mil palavras e os atuais chegam a janelas de mais de um milhão de tokens, será que este artigo não expira em breve? Minha leitura: o gargalo bruto diminui, e os hábitos continuam valendo. Por três motivos.

Primeiro, a degradação do miolo que descrevi acima acontece dentro do limite, e cresce junto com ele. Um modelo com janela gigante, entupido de documento irrelevante, continua achando com mais facilidade o que está nas pontas. Caber na memória e ser bem usado pela memória seguem sendo coisas diferentes.

Segundo, contexto grande custa. Cada mensagem sua reprocessa a conversa inteira, e conversa de um milhão de tokens fica mais lenta e mais cara de rodar. As ferramentas administram isso com compressões e resumos internos que você nem vê, e essas compressões perdem detalhe do mesmo jeito.

Terceiro, e mais importante: a analogia da mesa de trabalho. Trocar uma escrivaninha por uma mesa de conferência ajuda quem trabalha organizado. Quem empilha papel continua perdendo documento, só que agora numa mesa maior. Janela gigante amplifica método e amplifica bagunça, na mesma proporção. O método continua sendo seu.

Faça isso agora

Pegue a conversa mais longa e importante que você tem aberta agora no ChatGPT ou no Claude. Mande esta mensagem: “Resuma tudo que combinamos nesta conversa: objetivo, contexto, regras que estabeleci e decisões tomadas. Formato: lista curta.”

Leia o resumo com atenção, porque ele mostra o que a IA ainda “lembra”. Se faltar coisa importante, você acabou de ver a janela de contexto funcionando ao vivo, no seu próprio material, sem precisar acreditar na minha palavra. Complete o que faltou, copie o resultado e guarde: esse é seu bloco de contexto reutilizável, pronto pra abrir qualquer conversa nova sobre o assunto já com a memória carregada. Dez minutos, e você nunca mais vai brigar com um chat esquecido.

Gerenciar contexto é metade da diferença entre quem usa IA como brinquedo e quem usa como ferramenta de trabalho. A outra metade é método, e ele está completo no IA sem Enrolação, em ia.thiagocaserta.com/comprar. Sem fórmula secreta: é o jeito de trabalhar que eu uso todo dia, organizado pra você aplicar no seu.