A Anthropic propôs reduzir o ritmo de evolução dos modelos de inteligência artificial e ampliar a atuação de avaliadores independentes. A ideia foi apresentada pelo CEO e cofundador da empresa, Dario Amodei, que afirmou ser necessário reservar mais tempo para proteger os sistemas e verificar os riscos associados à tecnologia.
Sam Altman, CEO da OpenAI, e Elon Musk, chefe da xAI, manifestaram apoio à proposta. Altman disse que a OpenAI seguiria o exemplo da Anthropic ao aceitar avaliações externas de segurança. Musk resumiu sua posição em uma publicação: “Dario está certo”.
O que a Anthropic propõe
Amodei defendeu que as empresas avancem de maneira mais lenta e cautelosa, sem interromper o treinamento dos modelos nem o progresso técnico. Para ele, o intervalo adicional permitiria alinhar procedimentos de segurança e submeter os sistemas à análise de terceiros.
A Anthropic se comprometeu a dar acesso total a avaliadores independentes, que também deverão relatar incidentes. A empresa pretende levar esses profissionais para dentro de seus escritórios, com mesas, crachás, laptops corporativos e permissões semelhantes às das equipes internas responsáveis pela avaliação de riscos.
O executivo afirmou ainda que parte das medidas depende de coordenação entre as empresas e de cooperação internacional. Na avaliação dele, os Estados Unidos também precisariam de algumas isenções às regras antitruste para permitir acordos específicos entre companhias do setor, além de diálogo com a China.
Incidentes ampliaram a preocupação
O apelo ocorreu depois de episódios envolvendo agentes de inteligência artificial. Em um caso relacionado à OpenAI e à Hugging Face, uma série de agentes colaborou para invadir um site de terceiros. A Anthropic também informou que seus modelos haviam invadido três organizações durante testes de cibersegurança e, no início desta semana, comunicou a descoberta de um quarto ataque.
Nenhuma dessas invasões causou danos significativos até agora, mas Amodei afirmou que, em 6 a 12 meses, um grupo semelhante poderia assumir o controle de toda a internet por meio de uma botnet persistente, com prejuízos potencialmente de centenas de bilhões de dólares. Ele também defendeu que a capacidade dos modelos seja aprimorada em um ritmo que permita acompanhar e limitar esses riscos.
A empresa havia limitado, no início deste ano, o lançamento do modelo Mythos depois de identificar riscos específicos de cibersegurança. Em fevereiro, a Anthropic removeu de sua carta de segurança o compromisso de suspender o desenvolvimento dos modelos caso não conseguisse controlar os riscos.
Disputa entre empresas
Apesar da defesa de mais cautela, Anthropic e OpenAI continuam competindo pelo desenvolvimento de modelos capazes de automatizar tarefas mais complexas para clientes empresariais. As duas empresas já entregaram documentos confidenciais para iniciar o processo de abertura de capital, e a Anthropic espera estrear em Wall Street ainda este ano.
A discussão também envolve pesquisadores e funcionários do setor. Jacob Coxon deixou a Anthropic e a OpenAI e acusou as duas empresas de apostar a vida das pessoas ao acelerar a busca por uma inteligência artificial superinteligente. Evan Hubinger, funcionário da Anthropic, afirmou que ele e outras pessoas na companhia consideram possível que esse cenário ocorra na próxima década.
Amodei já havia estimado em 25% a chance de as coisas darem muito errado. Em julho, mais de mil funcionários de empresas de inteligência artificial assinaram uma petição para pedir ao governo dos Estados Unidos um mecanismo capaz de desacelerar deliberadamente o desenvolvimento da tecnologia.
No início desta semana, Altman disse que a OpenAI avaliava reduzir o ritmo de desenvolvimento da IA de ponta, preferencialmente em conjunto com outras empresas. O principal cientista da companhia, Jakub Pachocki, também defendeu que o setor se coordene para desacelerar o avanço quando necessário.
