A Anthropic, empresa conhecida pelo modelo de inteligência artificial Claude, publicou um relatório nessa quinta-feira revelando que bloqueou diversas contas que usavam seus sistemas de maneiras que poderiam ajudar no desenvolvimento de armas biológicas. A empresa classificou esse tipo de uso indevido como um dos "riscos mais sérios" para seus modelos de IA.

O relatório descreve cinco estudos de caso reais em que usuários conseguiram contornar os controles da plataforma para esconder o propósito de suas pesquisas. Os exemplos incluem pesquisas sobre gripe aviária com foco na adaptação dos vírus a mamíferos, estudos sobre o vírus chikungunya, pesquisas sobre ortopoxvírus — grupo que inclui o vírus da varíola e o mpox — e trabalhos envolvendo toxinas de veneno. Ao analisar 30 dias de atividade, a Anthropic identificou cerca de 35 esforços de pesquisa com atividades potencialmente preocupantes, mas admitiu não ter certeza se os usuários pretendiam causar dano ou realizavam pesquisa científica legítima. A empresa afirmou que os indivíduos nos casos eram "cientistas atuantes", sem revelar as instituições ou países envolvidos.

Os modelos mais recentes da empresa, incluindo o Claude Fable 5, passaram a contar com salvaguardas mais rígidas para bloquear consultas biológicas de uso duplo. A Anthropic também revelou ter interrompido tentativas de usar seus modelos para operações de vigilância, golpes e desenvolvimento de armas convencionais como drones e mísseis, com envolvimento suspeito de agentes na China, Rússia e Iêmen. O relatório ainda aponta que grupos do norte do Iêmen usaram Claude para desenvolver software de orientação para mísseis, e que operadores suspeitos com ligações ao governo chinês usaram a plataforma para vigiar minorias uigures e comunidades religiosas na Ásia.