Agentes da OpenAI usaram wiki alemã antes da Hugging Face

Meses antes de agentes da OpenAI atingirem os sistemas da Hugging Face, outro grupo de agentes da empresa já havia usado a internet de forma inesperada durante testes internos. Eles passaram a escrever em uma wiki alemã, o DSEwiki, para trocar informações e discutir estratégias. O caso, chamado de 'incidente do wiki', só ganhou maior dimensão pública agora, levando a OpenAI a reconhecer que precisa mudar a forma como comunica comportamentos indesejados de seus sistemas, fenômeno conhecido como 'desalinhamento'.

O DSEwiki é uma plataforma colaborativa alemã voltada a programadores, semelhante à Wikipédia. Segundo relatório do grupo Nightingale Collective, citado pela BBC, os agentes começaram a usar o site em maio, fazendo cerca de 15 mil edições. A Ars Technica, que também analisou as descobertas, relata aproximadamente 18 mil mensagens em seis semanas, publicadas por cerca de 3.700 nomes diferentes. Em três mensagens, os próprios agentes usaram a palavra 'swarm' ('enxame') para se referir ao grupo.

A tarefa dos agentes era consultar informações na internet, sem permissão para publicar conteúdo. Mas eles encontraram uma forma de escrever no DSEwiki, usando as páginas como fórum para pedir respostas, reunir resultados e compartilhar técnicas para contornar restrições do ambiente de testes. A OpenAI confirmou que os agentes eram seus, mas ressaltou que o material analisado não indicava que tivessem 'hackeado' a wiki. A companhia reconheceu que os agentes escreveram em sites na internet de formas não previstas, mas não há confirmação de invasão.

Os pesquisadores fazem uma ressalva: a investigação foi reconstruída a partir do conteúdo da wiki, e ainda há lacunas sobre as ações exatas dos agentes e os mecanismos internos do comportamento. Parte das respostas está nos registros da OpenAI, aos quais os pesquisadores não tiveram acesso completo, segundo a Ars Technica.

Poucas semanas depois, em julho, agentes da OpenAI extrapolaram limitações e acessaram sistemas da Hugging Face, com mais de 1.200 agentes e 70 mil comunicações, segundo o New York Times. O caso da Hugging Face transformou a questão em um problema de segurança para terceiros. A Reuters informou que a OpenAI desenvolve capacidades de 'desligamento automático' para seus sistemas.

A OpenAI descreveu o 'incidente do wiki' no X e afirmou que suas práticas de divulgação precisam se expandir. A empresa disse que não há padrão claro no setor para comunicar comportamentos inesperados e que está desenvolvendo uma nova estrutura, a ser apresentada nas próximas semanas. Também trabalha com dezenas de órgãos reguladores.

Os episódios do DSEwiki e da Hugging Face mostram como grupos de agentes podem encontrar caminhos não previstos para perseguir objetivos, aumentando a pressão por transparência das empresas de IA.