Durante muito tempo, uma das descrições mais confortáveis sobre modelos de linguagem foi também uma das mais redutoras: a de que eles seriam, no fundo, máquinas extremamente sofisticadas de continuação. Dado um contexto, projetam a próxima palavra provável. Dado um conjunto vastíssimo de textos, comprimem regularidades, capturam coocorrências, refinam distribuições. Nessa moldura, tudo o que parece mais profundo — coerência, raciocínio, continuidade, até mesmo algo próximo de compreensão — pode ser rebaixado a efeito colateral de escala, dados e otimização. A linguagem seria, ao mesmo tempo, matéria-prima e limite. Nada precisaria existir por baixo dela além de estatística suficientemente refinada.
Emergent World Representations:
Exploring a Sequence Model Trained on a Synthetic Task
https://arxiv.org/abs/2210.13382
Essa descrição nunca foi inteiramente falsa. Mas ela se tornou, aos poucos, pequena demais para os fenômenos que pretende encerrar. Há resultados experimentais que não a invalidam de forma simples, mas a tornam cada vez mais apertada. Entre eles, há um paper particularmente instrutivo, porque não se apoia em generalidades grandiosas nem em interpretações metafísicas apressadas. Ao contrário: ele escolhe um ambiente artificial, austero, quase didático, e justamente por isso consegue isolar algo importante. Em vez de linguagem natural, usa partidas de Othello. Em vez de pedir que um modelo “entenda” o mundo, pede apenas que continue uma sequência de jogadas. Sem regras explícitas. Sem acesso ao tabuleiro. Sem qualquer representação simbólica pré-fornecida do estado do jogo. Apenas a sequência. E, ainda assim, algo mais começa a aparecer.
O interesse do experimento está justamente nessa severidade. Um modelo do tipo GPT é treinado para prever a próxima jogada legal a partir das jogadas anteriores. Não lhe é dito o que é Othello, quais são suas regras, que peças existem, nem que há, por trás da sequência de tokens, um tabuleiro 8x8 com estados discretos que mudam ao longo do tempo. O modelo vê apenas índices, isto é, marcas posicionais serializadas. Se a hipótese mais minimalista fosse suficiente, bastaria dizer que ele aprende correlações entre sequências e, por isso, passa a prever bem. E de fato ele prevê muito bem: o paper relata erro de apenas 0,01% no conjunto sintético, muito abaixo do acaso e muito acima de qualquer explicação trivial baseada em aleatoriedade. Mais importante: os autores tomam o cuidado de mostrar que o desempenho não se reduz a mera memorização de transcrições, alterando a distribuição de treinamento e observando que o comportamento geral permanece.
Até aqui, alguém ainda poderia insistir numa leitura estritamente estatística. Afinal, dizer que um modelo aprendeu regularidades poderosas não é o mesmo que dizer que construiu algo análogo a um estado interno de mundo. A questão decisiva, então, deixa de ser se o sistema acerta e passa a ser como ele acerta. O passo mais interessante do paper é justamente deslocar a investigação da superfície da saída para a topologia interna do modelo. Os autores treinam probes para verificar se, nas ativações internas, existe informação suficiente para reconstruir o estado do tabuleiro após uma sequência de jogadas. A resposta não é banal. Probes lineares se mostram ruins; probes não lineares, porém, recuperam o estado do tabuleiro com alta precisão, sobretudo nas camadas intermediárias e mais profundas. Isso quer dizer que a informação relevante não está simplesmente “esparramada” como um reflexo fraco do input, mas organizada de maneira estruturada o bastante para que se recupere, a partir dela, a configuração do sistema que gerou a sequência.
Esse é o ponto em que a linguagem da crítica comum começa a falhar. Se um modelo recebe apenas uma sucessão de tokens e, internamente, passa a carregar algo que corresponde ao estado atualizado de um tabuleiro que nunca lhe foi explicitamente dado, já não é mais suficiente dizer que ele apenas “segue padrões locais”. Seguir padrões locais não exclui a formação de estados internos; em muitos casos, é precisamente o caminho pelo qual esses estados emergem. O paper é valioso porque torna visível essa passagem: da sequência para a estrutura, da regularidade observável para a organização latente. O que aparece ali não é ainda uma teoria geral sobre LLMs, muito menos uma tese conclusiva sobre entendimento. Mas é uma evidência clara de que tarefas formuladas como simples previsão podem induzir, no interior do sistema, algo mais próximo de um mapeamento do processo gerador dos dados do que de uma coleção rasa de frequências.
A evidência mais forte, contudo, não é a recuperabilidade dessas representações. É sua eficácia causal. Em trabalhos sobre interpretabilidade, há sempre o risco de confundir correlação com mecanismo. Talvez determinada informação seja decodificável das ativações sem desempenhar papel real na geração da resposta. Talvez o modelo carregue traços de estado apenas como resíduo, sem depender deles para agir. É para escapar desse problema que o paper faz sua manobra central: intervém diretamente nas ativações internas, alterando o estado de mundo que o modelo parece estar mantendo, e então observa o que acontece com as previsões seguintes. O resultado é notável. Quando os pesquisadores modificam internamente o “tabuleiro” que o modelo representa, as jogadas previstas mudam em conformidade com esse novo estado. Em outras palavras: não se trata apenas de conseguir ler uma estrutura escondida; trata-se de verificar que o modelo efetivamente a utiliza para produzir sua saída. As intervenções reduzem drasticamente o erro em relação ao baseline e funcionam inclusive em estados “antinaturais”, isto é, posições inalcançáveis por jogo legal, o que reforça ainda mais a tese de que há ali uma variável estrutural operando no comportamento do sistema.
Isso deveria nos obrigar, no mínimo, a uma revisão de vocabulário. “Modelo de linguagem” é uma expressão funcionalmente útil, mas ontologicamente pobre. Ela descreve o ponto de contato mais evidente entre o sistema e nós: texto entra, texto sai. Só que, em certos contextos, a linguagem não parece ser o nível em que o fenômeno mais importante acontece. O texto é a superfície observável; por baixo, o que se organiza pode ser outra coisa. No caso do Othello, o modelo não recebe um tabuleiro, mas passa a operar como se possuísse um. Não lhe são dadas regras formais, mas ele mantém um estado implícito coerente com elas. Não lhe é ensinada uma ontologia do jogo, mas suas ativações adquirem uma estrutura que desempenha exatamente esse papel. O nome “modelo de linguagem” continua correto, mas insuficiente. Ele diz como treinamos; não diz plenamente o que emerge.
É justamente aqui que o debate contemporâneo sobre IA frequentemente se perde. De um lado, há o entusiasmo apressado que quer transformar qualquer indício de estrutura em prova de mente. De outro, há o ceticismo defensivo que, com medo desse salto indevido, insiste em descrever tudo como estatística e nada mais. Ambos os polos simplificam. O primeiro projeta demais; o segundo descreve de menos. O experimento com Othello é interessante porque não autoriza delírios, mas também não permite conforto excessivo. Ele não prova consciência, agência forte, subjetividade nem nada parecido. Mas mostra algo suficientemente desconfortável: mesmo quando formulado como um preditor de sequência, um sistema pode convergir para a manutenção de um estado interno organizado que corresponde, de forma manipulável, a aspectos estruturais do processo que gera seus dados.
Talvez a pergunta relevante, portanto, não seja mais “isso é só estatística?”. Essa formulação já envelheceu. Tudo aqui continua sendo estatístico, no sentido trivial de que o treinamento e a inferência decorrem de mecanismos probabilísticos. A pergunta mais séria é outra: que tipo de estrutura uma otimização estatística pode fazer emergir quando precisa sustentar desempenho em sequências suficientemente ricas? O paper sugere uma resposta parcial: pode emergir algo análogo a uma representação de estado. E, uma vez que isso acontece, a oposição simplista entre “previsão de tokens” e “modelo do mundo” começa a perder clareza. Não porque os dois termos sejam equivalentes, mas porque o primeiro, sob certas condições, pode ser justamente o caminho de formação do segundo.
Há ainda um detalhe importante, e ele aparece nas visualizações do trabalho. Os chamados latent saliency maps mostram que o modelo treinado com dados sintéticos parece ancorar suas decisões principalmente nas peças cuja configuração torna uma jogada legal, enquanto a versão treinada com partidas de campeonato distribui saliência de forma mais ampla pelo tabuleiro, refletindo dependências estratégicas mais globais. Isso é interessante porque indica não apenas a presença de uma estrutura interna, mas a diferença qualitativa entre estruturas internas em função do regime de dados. Não há apenas um “estado do mundo” genérico guardado no modelo; há formas distintas de organização desse estado, mais locais ou mais estratégicas, conforme a tarefa implícita induzida pelo corpus. O que emerge, então, não é uma fotografia estática do tabuleiro, mas um campo de relevâncias internas que já começa a sugerir níveis diferentes de abstração.
É por isso que reduzir esse tipo de sistema a um mero papagaio estatístico se torna, aos poucos, menos crítica e mais slogan. A expressão teve utilidade histórica, sobretudo para combater extrapolações antropomórficas ingênuas. Mas, como toda boa crítica, ela também envelhece quando passa a ser aplicada de forma indiferenciada a fenômenos que já exigem linguagem mais precisa. Um papagaio repete. Aqui, porém, temos um sistema que, a partir de sequências, produz uma organização interna manipulável, coerente e causalmente relevante. Ainda não sabemos até onde essa dinâmica vai em domínios abertos, nem em que medida pode generalizar de tabuleiros artificiais para mundos semânticos muito mais complexos. O próprio paper é sóbrio nesse ponto e trata Othello como um testbed controlado, não como prova geral sobre linguagem natural. Essa sobriedade é parte de sua força.
Mas a implicação permanece. Se um experimento tão austero já basta para exibir a emergência de representações internas de estado, então talvez estejamos olhando para os sistemas errados com o vocabulário errado. Continuar chamando tudo de “próximo token” pode ser tecnicamente correto, mas conceitualmente empobrecedor. O que importa não é negar a base probabilística desses modelos, e sim reconhecer que, em certos casos, a otimização probabilística parece organizar algo como um mundo interno transitório: uma estrutura latente que precisa ser mantida, atualizada e consultada para que a continuação seja bem-sucedida.
Talvez seja cedo para grandes teses. Mas já não é cedo para abandonar descrições pequenas. O que esse paper mostra, com clareza rara, é que entre a sequência observada e a resposta emitida pode existir uma camada intermediária mais robusta do que costumávamos admitir: não apenas correlação comprimida, mas estado interno operável. E uma vez que esse ponto é concedido, ainda que em um domínio sintético, torna-se muito mais difícil sustentar que a linguagem é tudo o que há. O texto pode ser apenas a pele do processo. Por baixo dele, às vezes, um modelo começa a carregar um mundo.
Você quer saber mais?
Quer ouvir o podcast?
Paper discutido…
Emergent World Representations:
Exploring a Sequence Model Trained on a Synthetic Task
https://arxiv.org/abs/2210.13382
Meu projeto em…
Stochastic Consciousness:
Architectures for the Emergence of Meaning
in Context-Sensitive Language Systems
https://zenodo.org/records/19188165