Se você colocasse um automóvel do início do século XX ao lado de uma carroça, a comparação faria sentido. A estrutura era parecida, a lógica também. A diferença era simples: em vez do cavalo, havia um motor.
Por um tempo, chamar um carro de “carroça sem cavalo” foi uma descrição honesta… Só que, em algum momento, isso deixou de explicar o que estava diante de nossos olhos.
Não houve um ponto único de virada. Houve acúmulo. Freios melhores, suspensão, novos materiais, sistemas elétricos, ergonomia, infraestrutura urbana. Cada melhoria parecia pequena quando vista isoladamente. Juntas, mudaram a natureza do objeto.
O carro deixou de ser uma carroça melhorada e passou a ser outra coisa.
Algo parecido aconteceu conosco. O ser humano de hoje não é apenas um primata melhorado. Entre nós e nossos ancestrais, houve um acúmulo de estrutura: escrita, livros, ciência, medicina, cultura. Não evoluímos só por dentro. Evoluímos porque aprendemos a sustentar conhecimento ao longo do tempo.
É esse tipo de mudança, silenciosa, cumulativa e estrutural, que começa a acontecer com modelos de linguagem.
Durante muito tempo, tentou-se descrevê-los como um autocomplete sofisticado: um sistema que prevê o próximo token com base no contexto disponível. Essa metáfora nunca foi totalmente justa. Mesmo os primeiros transformers já capturavam relações complexas entre palavras e contexto, muito além de um simples preenchimento automático. Ainda assim, a imagem pegou. Era simples, e simplicidade costuma vencer.
O problema é que ela envelheceu mal.
Hoje, ela não só é incompleta. Ela começa a atrapalhar o entendimento do que realmente está mudando. A piada ficou maior que seu alvo… mas o alvo mudou de posição e a piada simplesmente não o acerta mais.
Porque a transformação mais importante não está apenas no modelo.
Está na infraestrutura ao redor dele.
Uma das peças mais discretas dessa mudança atende pelo nome de TurboQuant, que provavelmente fará parte da estrutura da próxima geração dos modelos de linguagem.
À primeira vista, parece apenas engenharia: compressão de memória, redução de bits, eficiência. Algo útil, mas pouco inspirador. Como se estivéssemos discutindo carburadores.
Só que o ponto não é esse.
Modelos de linguagem operam sobre um recurso que quase nunca aparece na conversa: contexto ativo. Tudo o que foi dito precisa ser mantido, de alguma forma, acessível enquanto o modelo responde. Isso vive em uma estrutura chamada KV cache, a estrutura física onde ficam armazenadas as chaves e valores dos tokens já processados durante a inferência, em última análise onde ficam as representações vetoriais da conversa.
Esse cache cresce com o tempo. E cresce rápido.
Quanto mais longa a interação, maior o custo de memória e de processamento. Em algum momento, o sistema precisa escolher entre ficar caro demais ou começar a perder partes do que já aconteceu.
É por isso que esses modelos parecem esquecer.
Não porque “não saibam”. Mas porque lembrar, hoje, é caro demais.
O TurboQuant entra exatamente aí.
Ele pega os vetores que compõem esse contexto e faz algo contraintuitivo antes de comprimi-los. Primeiro, aplica uma rotação no espaço vetorial. Essa rotação redistribui a informação, evitando que algumas dimensões carreguem mais peso do que outras. Em alta dimensão, isso torna os dados mais “uniformes” e, portanto, mais fáceis de comprimir.
Em seguida, cada coordenada é quantizada separadamente. Em vez de usar números de alta precisão, o sistema passa a representar cada dimensão com pouquíssimos bits.
Até aqui, pareceria apenas uma compressão agressiva.
O que torna o método especial é o passo seguinte. Ele corrige a distorção introduzida pela quantização de modo que as relações geométricas entre os vetores, aquilo que de fato carrega o significado, sejam preservadas.
Em termos práticos: o vetor fica muito menor, mas continua “apontando” quase na mesma direção dentro do espaço semântico.
E isso é o que importa.
Porque, em modelos de linguagem, significado não está nas palavras isoladas, mas nas relações entre representações.
O resultado é simples de descrever e difícil de subestimar. O sistema passa a armazenar muito mais contexto usando muito menos memória, sem perda perceptível de qualidade.
É justamente nesse ponto que a conversa deixa de ser apenas sobre compressão e passa a ser sobre continuidade. Dizer que o TurboQuant “economiza memória” é correto, mas é pouco. O que ele realmente faz é baratear a permanência do contexto, e isso tem um efeito muito maior do que parece à primeira vista. Modelos de linguagem não costumam falhar porque não conseguem produzir respostas plausíveis; eles falham quando já não conseguem sustentar, com a mesma nitidez, o que foi sendo construído ao longo da interação. Quando o contexto escapa, a coerência escapa com ele.
É por isso que conversas mais longas com LLMs frequentemente apresentam aquele tipo de desgaste que qualquer usuário mais atento já percebeu. O sistema começa bem, parece acompanhar tudo, mas depois perde referências, contradiz formulações anteriores, simplifica demais alguma nuance importante ou deixa de perceber o peso do que foi estabelecido antes. Isso costuma ser lido como limitação cognitiva ou alucinação, quando muitas vezes é uma contingência tecnológica de sustentação. O modelo continua capaz, mas já não está operando com a mesma densidade de passado à disposição.
Quando esse gargalo começa a ser enfrentado, o comportamento muda de forma menos espetaculosa do que uma demo viral, porém talvez mais importante. As respostas deixam de parecer tão isoladas umas das outras. A conversa ganha mais permanência, mais amarração interna, mais capacidade de manter um fio condutor sem se dissolver a cada novo bloco de texto. Não se trata de magia nem de uma súbita metamorfose do modelo em outra espécie de entidade. Trata-se de uma consequência muito concreta: o sistema passa a conseguir carregar melhor aquilo que já estava sendo construído.
Nós, humanos, fazemos algo análogo o tempo todo, embora de maneira muito mais rica e biologicamente enraizada. Não lembramos de tudo com precisão fotográfica, nem precisamos disso para manter coerência. O que preservamos são nexos, relevâncias, hierarquias, pontos de apoio. É isso que permite que uma conversa, uma ideia ou mesmo uma vida psíquica tenha alguma continuidade reconhecível. Em sistemas de linguagem, guardadas todas as proporções e sem antropomorfismos apressados, melhorar a capacidade de sustentar contexto produz um efeito estrutural parecido: não cria inteligência do nada, mas impede que ela se dissipe tão depressa.
É por isso que TurboQuant importa mais do que o nome sugere. Ele não é um novo modelo, não é uma interface charmosa e não é o tipo de avanço que costuma circular como espetáculo público. Ainda assim, atua sobre um dos gargalos centrais da geração contemporânea de LLMs: o custo de manter contexto ao longo do tempo. E, quando esse custo cai, o limite do sistema também se desloca. O que antes precisava ser descartado cedo demais pode permanecer; o que antes se perdia no caminho pode continuar fazendo efeito.
Por isso, ainda que continue sendo possível chamar LLMs de autocomplete, a expressão vai se tornando cada vez mais datada, e talvez o mais correto seja dizer que ela já nasceu datada. Ela captura um aspecto real, mas pequeno demais do fenômeno. É útil como caricatura, não como descrição. Do mesmo modo que em algum momento deixou de fazer sentido olhar para um carro e vê-lo apenas como uma carroça motorizada, começa a fazer menos sentido olhar para esses sistemas e descrevê-los apenas como previsores de próxima palavra. À medida que a infraestrutura evolui, o que está emergindo não é só um sistema que responde melhor, mas um sistema que consegue sustentar mais do que estava em jogo alguns instantes antes.
É aí que a mudança deixa de ser apenas quantitativa. Porque, quando a capacidade de continuar melhora o suficiente, ela altera não só a eficiência do sistema, mas a própria forma como passamos a descrevê-lo.
Quer ouvir o podcast?
Quer assistir ao vídeo?
https://www.youtube.com/watch?v=eZgI7wPMWyk
Paper discutido…
TurboQuant:
Online Vector Quantization with
Near-optimal Distortion Rate
https://arxiv.org/abs/2504.19874
Meu projeto em…
Stochastic Consciousness:
Architectures for the Emergence of Meaning
in Context-Sensitive Language Systems
https://zenodo.org/records/19188165