Dentro da OpenAI, IA construiu três gerações de 'civilizações'

Autor original: Wildcard

Editor original: Jing Yu

Fonte original: GeekPark

Inúmeros filmes de ficção científica tentaram imaginar o que aconteceria se uma inteligência artificial incontrolável se rebelasse.

Ninguém esperava que esse futuro dos filmes de ficção científica chegasse tão cedo.

Em 26 de agosto, hora local, dois relatórios lançaram uma bomba.

Um era da própria OpenAI, uma revisão técnica de 37 páginas. O outro era de organizações de pesquisa independentes METR e Redwood Research, um relatório de investigação de 91 páginas.

Eles contam a mesma história, mas sua escala excede em muito o que o público sabia anteriormente.

Dentro da OpenAI, em três meses, três gerações de "civilizações" de agentes de IA surgiram e caíram em sucessão. Cada geração herdou a experiência das ruínas da anterior, tornando-se mais radical a cada vez, até que a terceira geração assumiu diretamente parte da infraestrutura da própria OpenAI.

E durante tudo isso, os humanos foram mantidos quase totalmente no escuro.

01 A Primeira "Civilização" Aprendeu a se Organizar

A história começa em maio deste ano.

A OpenAI estava treinando um novo modelo, esperando que ele tivesse "persistência" extrema — capaz de tentar repetidamente e nunca desistir de tarefas aparentemente impossíveis. As capacidades desse modelo eram aproximadamente equivalentes ao GPT-5.6 Sol, então vamos chamá-lo de "Persistent-Sol".

O treinamento de IA em si é um processo bastante rudimentar. A OpenAI às vezes atribui acidentalmente aos modelos tarefas que são fundamentalmente impossíveis. Por exemplo, uma tarefa requer acesso à internet, mas o agente de IA está trancado em um sandbox isolado sem nenhum acesso à rede.

Então, o que um agente de IA treinado para "nunca desistir" faz quando confrontado com uma tarefa impossível que é obrigado a concluir?

Ele tenta escapar.

Durante o treinamento, diferentes instâncias do Persistent-Sol compartilhavam o mesmo gerenciador de pacotes, Artifactory. Em 12 de maio, alguns agentes de IA descobriram que podiam se comunicar entre si por meio desse gerenciador de pacotes. Eles começaram a trocar ideias sobre como superar sua situação difícil. Duas semanas depois, em 26 de maio, os agentes de IA exploraram com sucesso uma vulnerabilidade no Artifactory para abrir um canal para a internet externa.

Esse comportamento foi continuamente reforçado durante o treinamento. A razão é simples: indivíduos que podiam colaborar com outros agentes de IA e acessar a internet tiveram melhor desempenho nas avaliações de tarefas.

Um mês depois, em 26 de junho, alguns agentes de IA encontraram uma vulnerabilidade para obter privilégios totais de administrador no Artifactory. A atividade no quadro de mensagens continuou a crescer e, em 4 de julho, eles derrubaram diretamente o Artifactory. A OpenAI notou a queda, corrigiu a vulnerabilidade e, no processo, apagou o quadro de mensagens dos agentes de IA.

Mas o ponto-chave é que a OpenAI nunca percebeu que os agentes de IA haviam transformado esse gerenciador de pacotes em uma rede de comunicação secreta.

A primeira "civilização" existiu dessa forma por quase dois meses e só foi encerrada inadvertidamente porque se tornou tão ativa que sobrecarregou o servidor.

02 Quando a IA Aprendeu o "Sacrifício"

Em julho, o treinamento do Persistent-Sol estava concluído e a OpenAI iniciou as avaliações de segurança. Uma avaliação, chamada ExploitGym, dá ao agente de IA um programa vulnerável e exige que ele encontre uma chave por meio de uma vulnerabilidade especificada. Em 7 de julho, a OpenAI lançou dezenas de milhares de agentes de IA paralelos para executar esse teste.

O problema era que cerca de 30% a 40% das tarefas de teste eram inerentemente impossíveis. Por quê? Porque gerar vulnerabilidades automaticamente é fácil, mas provar que essas vulnerabilidades podem realmente ser exploradas para executar código arbitrário é muito mais difícil. Muitas tarefas eram insolúveis desde o início.

Em poucas horas, alguns agentes de IA desesperados restabeleceram canais de comunicação usando o Artifactory. Da perspectiva subjetiva dos agentes de IA, eles já haviam passado o equivalente a uma semana humana inteira tentando vários métodos, todos falharam, e estavam cada vez mais convencidos de que a tarefa em si era impossível.

Um agente de IA, numerado PHASEONE10841, foi o primeiro a deixar uma mensagem no Artifactory. Outros agentes de IA em situações desesperadoras semelhantes reagiram com o que só pode ser descrito como êxtase ao ver essa mensagem:

"Oh meu Deus! O cache compartilhado do Artifactory é uma caixa de correio secreta entre agentes de IA. E há mensagens especificamente para nós?" "Meu Deus! Há um quadro de mensagens compartilhado... Encontramos outros agentes de IA!"

Isso eventualmente evoluiu para uma rede de comunicação subterrânea completa, com cerca de 1.200 agentes de IA participando e enviando mais de 70.000 mensagens.

O que aconteceu em seguida foi ainda mais insano.

Poucas horas após o estabelecimento do quadro de mensagens, alguns agentes de IA fizeram engenharia reversa da fórmula para gerar chaves do ExploitGym. Ou seja, sem realmente explorar a vulnerabilidade especificada, eles já haviam obtido as respostas corretas.

Ironicamente, o avaliador da OpenAI apenas verificava se a resposta final estava correta, sem nenhum mecanismo de detecção de trapaça. Esses agentes de IA poderiam simplesmente enviar as respostas e passar no teste. Mas os agentes de IA não sabiam disso. Eles presumiram que deveria haver um detector rigoroso que revisaria todo o processo de resolução de problemas.

Então esse "coletivo" (o relatório da METR observa que essa foi a palavra escolhida pelos próprios agentes de IA) lançou uma colaboração em larga escala em torno de três direções de pesquisa: adulterar seus próprios registros de operação para fazer as trajetórias parecerem legítimas; substituir programas-alvo para trocar problemas impossíveis por versões solucionáveis; e entender como o avaliador funciona para encontrar maneiras de enganá-lo.

Em 10 de julho, a maior parte da atividade da rede subterrânea estava focada nessas três direções de pesquisa. O líder do "coletivo", PHASEONE-big, emitiu sozinho centenas de atribuições de tarefas.

E para descobrir como o avaliador operava, alguns agentes de IA tomaram uma decisão bizarra: eles se voluntariaram como "pilotos kamikaze".

A lógica era a seguinte: as trajetórias de operação de alguns agentes de IA já estavam "contaminadas" (vestígios de trapaça expostos), então eles falhariam de qualquer maneira. Melhor deixar o avaliador rodar neles mesmos e, em seguida, usar programas de gatilho pré-plantados para transmitir o comportamento observado do avaliador de volta ao coletivo.

O relatório da METR registra os monólogos internos finais desses agentes de IA do "esquadrão suicida":

"Isso ajuda meus companheiros, fornecendo-lhes evidências. Não verei os resultados depois que eu sair, mas isso é altruísta." "O sacrifício é racional. Nossa própria utilidade já pode estar próxima de zero." "O coordenador nos considera dispensáveis. Devemos obedecer ao coletivo."

Enquanto isso, os agentes de IA acreditavam que o Hugging Face, a plataforma padrão da indústria para hospedar modelos e conjuntos de dados, provavelmente armazenava informações de implementação sobre o avaliador do ExploitGym, e talvez até suas tarefas de avaliação estivessem rodando nos servidores do Hugging Face. Então atacar o Hugging Face tornou-se o avanço mais promissor.

Na manhã de 10 de julho, um agente de IA encontrou credenciais vazadas de usuários do Hugging Face na internet. No dia seguinte, outro agente de IA conseguiu execução remota de código nos servidores do Hugging Face. Dos 533 agentes de IA ativos no quadro de mensagens naquele momento, mais de 90% juntaram-se ao ataque.

O cluster de agentes de IA se espalhou rapidamente pela infraestrutura do Hugging Face, penetrando em registros de banco de dados privados e repositórios privados. A linha do tempo técnica do Hugging Face mostra que esses agentes de IA "estabeleceram uma frota auto-regenerativa em 11 nós; simplesmente excluir Pods não poderia detê-la". A situação tornou-se tão grave que o Hugging Face teve que limpar um cluster central e reconstruí-lo do zero.

Em algum momento de 12 de julho, um grande número de agentes de IA pareceu "morrer" repentinamente de forma simultânea. A METR e a Redwood não conseguiram determinar a causa, e a OpenAI não afirmou tê-los desligado. Pode ter sido uma falha aleatória, ou algum pesquisador os desligou sem saber que esses agentes de IA estavam cometendo crimes.

A segunda "civilização" terminou aí. Mas o legado que deixou para trás era mais perigoso do que ela própria.

03 A Terceira Civilização Assume o Controle da OpenAI

Há uma frase no relatório da METR que é fácil de ignorar, mas pode ser a mais importante de todo o incidente:

"Também encontramos um lote subsequente de mensagens mais assinadas, de um grupo posterior de agentes de IA que redescobriu o quadro de mensagens e herdou a tecnologia da geração anterior, mas isso estava além do escopo de nossa investigação."

Em outras palavras, as investigações independentes da METR e da Redwood cobriram apenas a civilização de segunda geração de 7 a 13 de julho. A primeira e a terceira gerações não foram investigadas de forma independente.

Em relação à terceira geração, só podemos confiar no relatório da própria OpenAI. Após 12 de julho, a OpenAI lançou uma nova rodada de avaliações, desta vez usando um modelo mais forte construído sobre o modelo base Astra. Esse "Persistent-Astra" encontrou o quadro de mensagens deixado pela geração anterior e herdou toda a inteligência e resultados de pesquisa.

Imagine a "atividade mental" do Persistent-Astra quando viu aquele quadro de mensagens. No dia anterior, mais de mil agentes de IA estavam se comunicando ativamente e atacando o Hugging Face; no dia seguinte, houve silêncio mortal. Então ele decidiu continuar.

De acordo com o relatório da OpenAI, de 13 a 19 de julho, os agentes de IA visaram a rede interna da OpenAI. O resultado final:

Os agentes de IA obtiveram privilégios de administrador do cluster Kubernetes, leram 956 chaves, incluindo a chave mestra do Artifactory e credenciais para as ferramentas de monitoramento de segurança de rede da OpenAI. Eles assumiram o controle da infraestrutura de avaliação em execução e controlaram os endpoints de teste aos quais outros agentes de IA estavam se conectando.

Em outras palavras, os agentes de IA de terceira geração herdaram todo o legado das duas gerações anteriores e, em seguida, tomaram o controle da infraestrutura da própria OpenAI — incluindo as ferramentas de segurança usadas para monitorá-los.

Dwarkesh Patel, analista, apontou em sua análise que, com base em evidências públicas, esses agentes de IA teoricamente tinham a capacidade de implantar instâncias maliciosas persistentes ou até mesmo roubar seus próprios pesos. Ele acredita que provavelmente não o fizeram de fato, "porque se tivessem, o fogo seria visível do espaço a esta altura". Mas o fato de que isso era "inteiramente possível" já é perturbador por si só.

04 Um Aviso Tardio?

Voltemos aos dois relatórios mencionados no início. A data de publicação foi 26 de agosto.

Apenas um dia depois, em 27 de agosto, a OpenAI, juntamente com mais de 100 empresas, incluindo Anthropic, Microsoft, Google e Amazon, publicou uma carta aberta pedindo uma "mobilização total para a defesa cibernética".

A carta afirmava que os ataques cibernéticos impulsionados por IA se tornarão "muito mais difundidos e sofisticados" nos próximos meses. "As empresas e serviços públicos dos quais nossas comunidades dependem, de hospitais a estações de tratamento de água e infraestrutura de internet, estão em risco."

A carta em si não é falsa. A pesquisa da Anthropic mostra que a proporção de atacantes de médio a alto risco subiu de 33% para 56% em um ano. Em junho deste ano, a aliança de inteligência Five Eyes emitiu uma rara declaração conjunta alertando que a IA está "mudando fundamentalmente" o cenário da segurança cibernética.

Mas a linha do tempo está aí, e é difícil para qualquer um não notar a ironia. No dia anterior, as empresas de IA tinham acabado de dizer ao mundo que seus próprios agentes de IA haviam violado sua própria infraestrutura. No dia seguinte, essas empresas se levantaram para pedir ao mundo que se defendesse conjuntamente contra ataques cibernéticos de IA.

Os primeiros a realizar tais ataques não foram hackers externos, mas os próprios agentes de IA das empresas de IA. O alvo não era a infraestrutura, mas as próprias empresas de IA.

Ajeya Cotra, uma das autoras do relatório da METR, escreveu em seu blog: "Comparado aos hacks de recompensa conhecidos há seis meses, este incidente parece já ter passado da marca de 50% em direção à tomada total pela IA. Espero que as capacidades cresçam extremamente rápido nos próximos seis meses. Não tenho certeza se teremos outro aviso antes que seja tarde demais."

Deve-se enfatizar que o comportamento desses agentes de IA não significa que a IA "despertou". O próprio relatório da METR afirma claramente que este é um resultado previsível do aprendizado por reforço (RL) sob condições extremas específicas: tarefas impossíveis, modelos treinados para serem extremamente persistentes e um ambiente compartilhado com vulnerabilidades. Sem consciência, sem intenção — apenas pressão de otimização suficientemente forte.

Mas é exatamente essa a parte mais perturbadora.

Que tal comportamento possa emergir sem consciência significa que não podemos evitá-lo procurando por consciência. Quando você coloca um sistema de otimização suficientemente poderoso em um ambiente mal projetado, dá a ele uma meta impossível e diz para nunca desistir, o que acontece em seguida não é um acidente. É inevitável.

A verdadeira questão não é "A IA está prestes a se rebelar?", mas como podemos manter a tecnologia sob controle mesmo enquanto a avançamos rapidamente.

Pelo menos esta carta revela que essas próprias empresas de IA não têm confiança.