Tokens: o que são e por que seu texto foi cortado

Você colou um relatório de 60 páginas no ChatGPT e pediu um resumo. A resposta veio boa até a metade e simplesmente parou no meio de uma frase. Ou pior: o resumo ignorou por completo os capítulos finais, como se você nunca tivesse colado eles. Você mandou “continue”, ele continuou de um jeito estranho, meio perdido. O que aconteceu ali tem nome, e entender esse nome resolve uma família inteira de frustrações.

Token é a unidade de texto que a IA realmente processa. O modelo divide tudo que entra e tudo que sai em pedaços chamados tokens: às vezes uma palavra inteira, às vezes um pedaço de palavra, às vezes só uma vírgula ou um espaço. A palavra “gato” pode ser um token; “extraordinariamente” vira três ou quatro. Como regra de bolso, em português, um token equivale a mais ou menos meia palavra ou um pouco mais, então mil tokens dão algo em torno de 600 a 700 palavras.

E por que isso importa pra você, que só quer usar a ferramenta? Porque tudo no mundo dos modelos de linguagem é contado, limitado e cobrado em tokens. O corte do seu texto, o preço das ferramentas, a memória da conversa: token explica os três. Vamos por partes.

Por que a IA lê pedaços em vez de palavras?

O modelo trabalha com números, e o primeiro passo de qualquer processamento é converter texto em números. Fazer isso palavra por palavra criaria um dicionário gigantesco e ainda quebraria na primeira palavra inventada, nome próprio ou erro de digitação. A solução dos engenheiros foi um meio-termo esperto: um vocabulário de dezenas de milhares de fragmentos frequentes. Palavras comuns viram um token só; palavras raras são montadas com fragmentos, como Lego.

Detalhe que afeta o brasileiro: esses vocabulários foram construídos com muito mais texto em inglês. Resultado prático, o mesmo parágrafo costuma consumir mais tokens em português do que em inglês, algo em torno de 20 a 30% a mais, dependendo do modelo. Seu limite esgota mais rápido escrevendo em português. Injusto? Um pouco. Mas é bom saber, principalmente quando você paga por uso.

Esse mecanismo de fragmentos também explica esquisitices famosas, tipo o ChatGPT tropeçar ao contar as letras de uma palavra: ele nunca vê as letras, vê tokens. Pedir pra ele contar os “r” de uma palavra é pedir pra alguém contar os tijolos de uma parede olhando ela de longe, já rebocada. Esse mesmo efeito aparece quando a IA erra contas simples.

Por que seu texto foi cortado no meio?

Agora a resposta direta pro problema do relatório. Todo modelo tem dois limites medidos em tokens.

O primeiro é o limite total do que ele enxerga de uma vez: sua conversa inteira, incluindo o documento que você colou, precisa caber dentro da chamada janela de contexto. Se o relatório estoura esse espaço, a ferramenta descarta ou comprime parte do texto, geralmente sem avisar. É por isso que o resumo ignorou os capítulos finais: pro modelo, eles nunca existiram. Escrevi um artigo inteiro sobre janela de contexto e por que a IA esquece a conversa, que é o irmão gêmeo deste aqui.

O segundo é o limite de saída: cada resposta tem um teto de tokens que o modelo pode gerar de uma vez. Chegou no teto, ele para, mesmo no meio da frase. Por isso o “continue” funciona, embora com emendas às vezes tortas: você está pedindo uma nova resposta que retoma de onde a anterior parou.

Sabendo disso, as soluções ficam óbvias. Documento grande, divida em partes e resuma por etapas. Resposta longa, peça em seções: “me entregue a parte 1 de 3”. E se o resultado começar a degradar em conversa quilométrica, comece um chat novo com um resumo do que importa.

Quanto custa um token, e por que você deveria se importar?

Se você usa só o plano de assinatura, o preço por token fica invisível: você paga um valor fixo e a conta de tokens vira limites de uso. Mas por trás de toda ferramenta de IA, alguém paga por milhão de tokens processados, e essa economia respinga em você.

O movimento de preço dessa indústria foi uma das quedas mais rápidas que já vi em tecnologia, e olha que eu vivi a queda do preço de infraestrutura em nuvem por dentro, na Kumulus. Processamento que custava na faixa de 30 dólares por milhão de tokens caiu pra menos de 1 dólar em cerca de dois anos, pra um nível equivalente de capacidade. Cem milhões de palavras processadas pelo preço de um almoço executivo.

Minha leitura: essa queda é o motivo de a IA estar aparecendo dentro de tudo, do seu e-mail ao seu banco. Quando o insumo fica barato assim, a pergunta das empresas muda de “podemos pagar?” pra “onde ainda faz sentido usar gente?”. Entender o insumo, o token, ajuda você a entender o movimento inteiro, e é peça central de como o ChatGPT funciona por dentro.

Como saber quantos tokens seu texto tem?

Três caminhos, do mais preciso pro mais preguiçoso. O preciso: os principais fornecedores mantêm contadores de token gratuitos na web, os chamados tokenizers, onde você cola o texto e vê a contagem exata, colorida pedaço por pedaço. Vale a visita uma vez na vida só pra ver com os próprios olhos como sua frase é fatiada.

O intermediário: a conta de padeiro. Palavras vezes 1,4 dá uma estimativa decente em português. Um relatório de 10 mil palavras, portanto, beira os 14 mil tokens antes mesmo da conversa começar.

O preguiçoso, que uso no dia a dia: perguntar pra própria ferramenta. “Aproximadamente quantos tokens tem o texto que acabei de colar?” A resposta é estimativa, mas serve pra decisão prática de dividir ou seguir.

Um aviso pra quem já usa recursos além de texto: imagem, áudio e arquivo também viram tokens. Uma foto anexada consome centenas ou milhares deles, dependendo da resolução. Quem cola dez capturas de tela numa conversa e depois reclama que a IA “esqueceu” o começo está vendo aritmética de tokens em ação, sem saber o nome do fenômeno.

Faça isso agora

Dez minutos pra nunca mais sofrer com corte de texto. Uma: pegue o maior documento que você costuma jogar na IA e estime os tokens com a conta de padeiro, palavras vezes 1,4. Dois: compare com o limite da sua ferramenta, que a própria IA informa se você perguntar “qual o tamanho da sua janela de contexto?”. Três: se o documento não cabe com folga, adote o fluxo em etapas: divida em blocos, peça um resumo estruturado de cada bloco e, no final, peça a síntese dos resumos.

Esse fluxo de resumo em etapas resolve, na prática, uns 90% dos problemas de “a IA ignorou metade do meu arquivo” que me relatam. E custa dez minutos de organização a mais, contra uma tarde refazendo análise pela metade.

Token, contexto, alucinação: são as três peças de mecânica que separam quem briga com a ferramenta de quem extrai resultado dela. No IA sem Enrolação eu junto essas peças num método de trabalho completo, direto ao ponto, do jeito que eu gostaria de ter recebido quando comecei. Está em ia.thiagocaserta.com/comprar se quiser dar o próximo passo.