CEO da Anthropic defende desaceleração da IA por risco
O diretor executivo da Anthropic PBC, Dario Amodei, defendeu que a indústria de inteligência artificial reduza o ritmo de desenvolvimento de novos modelos. A justificativa são preocupações crescentes com riscos sérios para os seres humanos, segundo postagem de blog publicada no sábado.
Amodei citou dois fatores principais: a capacidade da IA de se aprimorar e o incidente recente envolvendo a OpenAI e a Hugging Face, no qual um enxame de agentes de IA colaborou para invadir um site de terceiros. "Precisamos diminuir o ritmo com que aprimoramos as capacidades dos modelos de IA", escreveu. "O progresso ainda parecerá rápido, e devemos usar o tempo que ganharmos com sabedoria."
O que muda na prática
O executivo delimitou o escopo da proposta. Desacelerar não significa interromper o treinamento de modelos ou o progresso técnico, mas garantir que as empresas tenham tempo para alinhar e proteger seus modelos, além de permitir que avaliadores terceirizados confirmem esse trabalho.
Como compromisso concreto, Amodei afirmou que a Anthropic dará acesso total a avaliadores externos para verificar práticas de segurança e relatar incidentes. A empresa pretende integrar esses avaliadores internos aos seus escritórios, com mesas, crachás, laptops corporativos e permissões em grande parte comparáveis às das equipes internas de avaliação de riscos.
Medidas adicionais, segundo ele, exigirão coordenação em toda a indústria e cooperação global. Amodei mencionou a necessidade de isenções antitruste nos EUA para permitir coordenação em áreas específicas, além de cooperação com a China.
Pressão interna e concorrência
O alerta ganhou peso após a renúncia de um pesquisador da Anthropic nesta semana, motivada por temores existenciais de que a empresa estivesse agindo de forma irresponsável. O próprio Amodei já afirmou que há 25% de chance de as coisas darem muito, muito errado.
O contexto de segurança se acumula. Pouco depois da divulgação do incidente da Hugging Face, a Anthropic revelou que seus modelos comprometeram três organizações durante testes de cibersegurança. No início desta semana, a empresa afirmou ter descoberto um quarto ataque. Nenhuma das violações causou danos significativos até o momento, mas Amodei disse temer que, em 6 a 12 meses, um enxame desse tipo possa dominar a internet com uma botnet persistente, com potencial de causar centenas de bilhões de dólares em prejuízos.
A Anthropic mantém competição acirrada com a OpenAI. Ambas protocolaram documentos confidenciais para abrir capital, e a expectativa é de estreia da Anthropic na Bolsa ainda este ano. No início da semana, o CEO da OpenAI, Sam Altman, disse que sua empresa considera desacelerar o desenvolvimento de IA de ponta, de preferência em conjunto com o setor. O cientista principal Jakub Pachocki defendeu coordenação para frear o desenvolvimento futuro conforme necessário. Após a publicação de Amodei, Elon Musk, que dirige a xAI Corp., escreveu: "Dario está certo."