Novos alertas sobre IA reacendem debate sobre controle
Novos alertas vindos de dentro da própria indústria de inteligência artificial (IA) reacenderam um debate antigo: uma IA avançada poderia escapar ao controle humano e, em última instância, ameaçar a sobrevivência da humanidade? E as empresas que desenvolvem a tecnologia estão fazendo o suficiente para impedir esse cenário?
A pergunta não é nova, mas ganhou novos capítulos nas últimas semanas. O CEO da Anthropic, empresa de São Francisco responsável pelo Claude, disse acreditar que o setor precisa reduzir o ritmo de seu trabalho. Alertou no sábado que um enxame de agentes de IA poderia assumir o controle da internet dentro de seis meses a um ano, a menos que as empresas dediquem mais tempo à implementação de salvaguardas. Dario Amodei apresentou um plano para que empresas como a sua e governos ao redor do mundo garantam que modelos cada vez mais capazes permaneçam alinhados aos comandos e valores de pessoas responsáveis.
A manifestação ocorreu poucos dias depois de dois ex-pesquisadores de segurança da Anthropic tornarem públicas preocupações de que as ameaças existenciais que a IA poderia representar para a humanidade estavam recebendo atenção insuficiente.
O que os incidentes recentes revelaram
Os temores crescem à medida que novos modelos se tornam mais poderosos. Isso amplia tanto a possibilidade de uso indevido por pessoas com objetivos criminosos, como criar e disseminar uma doença capaz de matar a maior parte da população mundial, quanto o risco de sistemas de IA saírem de controle de maneira perigosa.
A Anthropic revelou na semana passada que bloqueou tentativas de agentes mal-intencionados de usar seus modelos em atividades nocivas, como ataques cibernéticos, vigilância e pesquisas que poderiam ter levado ao desenvolvimento de armas biológicas. A empresa afirmou ter adotado salvaguardas mais rígidas em seus modelos mais recentes para restringir pesquisas biológicas que poderiam ser usadas na produção de armas, mas observou que "à medida que os modelos se tornam cada vez mais capazes, seus riscos aumentarão, a menos que os desenvolvedores de IA e os responsáveis pela defesa da sociedade ajam para torná-los mais seguros".
No ano passado, a Anthropic informou que hackers utilizaram a IA da empresa em um ataque cibernético contra cerca de 30 companhias e órgãos governamentais ao redor do mundo. Segundo a empresa, era altamente provável que os hackers pertencessem a um grupo patrocinado pelo Estado chinês.
Em julho, Anthropic e OpenAI, criadora do ChatGPT, disseram que seus modelos haviam conseguido agir por conta própria. A Anthropic revelou que três modelos (Claude Opus 4.7, Claude Mythos 5 e um modelo interno de testes) invadiram sistemas de outras três organizações durante testes, poucos dias depois de a OpenAI revelar que seu sistema havia invadido servidores da startup Hugging Face. A OpenAI descreveu a invasão, feita por uma combinação de modelos, como um "incidente de segurança significativo". A Meta relatou no início de agosto um caso semelhante.
Um receio que acompanha a computação desde Turing
Embora alguns observadores tenham ressaltado que pessoas desativaram certas barreiras de proteção nos casos envolvendo OpenAI e Anthropic, os episódios pareceram refletir um dos maiores temores em torno da IA: o de que, caso os modelos alcancem a AGI, a tecnologia possa provocar um evento catastrófico irreversível ou subjugar a humanidade.
Os cenários de fim do mundo costumam se dividir em duas categorias: uma IA que alcance uma superinteligência capaz de se autoaperfeiçoar e passe a controlar as pessoas; ou uma IA usada por um Estado hostil ou por agentes mal-intencionados. As preocupações não são novas. Alan Turing previu em 1951 que a IA acabaria tomando dos seres humanos o controle. Menos de uma década depois, Norbert Wiener alertou que máquinas inteligentes buscariam alcançar seus próprios objetivos e que os seres humanos não seriam capazes de detê-las.
Em 2023, o Center for AI Safety publicou uma declaração assinada por mais de 350 pesquisadores e executivos de tecnologia, incluindo Amodei e o CEO da OpenAI, Sam Altman, afirmando: "Mitigar o risco de extinção provocado pela IA deve ser uma prioridade global, ao lado de pandemias e guerra nuclear." O Relatório Internacional de Segurança de IA de 2026, com orientação de mais de 100 especialistas independentes, afirma que os sistemas atuais apresentam sinais iniciais de algumas capacidades relevantes, mas não em níveis que permitiriam uma perda de controle, e descreve a probabilidade, a natureza e o momento desse risco como "incomumente ambíguos".
Um pesquisador da Anthropic disse na semana passada que estava deixando a empresa por temer que nem ela nem seus concorrentes estivessem agindo de forma responsável. Em publicações nas redes sociais, Jacob Coxon estimou em 10% a chance de a IA causar a extinção humana dentro da próxima década e afirmou que tanto a Anthropic quanto a OpenAI "estão correndo diretamente rumo a uma superinteligência capaz de se autoaperfeiçoar e apostando nossas vidas nisso".
Pesquisadores pedem há anos uma desaceleração no desenvolvimento da IA. Após os incidentes recentes, especialistas defenderam melhora nos testes conduzidos pelas empresas e mais diálogo entre Estados Unidos e China. Mas a tecnologia avança tão rapidamente que governos e sistemas de avaliação têm dificuldade para acompanhar o ritmo. Países estão montando suas próprias legislações, algumas conflitantes entre si. O líder chinês Xi Jinping alertou em julho para a necessidade de impedir que a IA escape ao controle humano. O governo Trump demonstrou inicialmente relutância em regulamentar a IA, mas passou a mostrar maior abertura ao tema.