Investigador da Anthropic demite-se, afirmando que a IA pode ficar fora de controlo no próximo ano

O investigador da Anthropic, Jacob Coxon, anunciou a sua demissão e prepara-se para deixar a indústria da IA. Nos últimos três anos, realizou investigação de pré-treino na OpenAI e na Anthropic. Salientou que nenhuma das empresas avançou com a IA de forma responsável, competindo para criar superinteligência que possa continuar a melhorar as suas próprias capacidades, "apostando as nossas vidas nisso". Mudou da OpenAI para a Anthropic este ano porque esta última dá mais ênfase à segurança dos modelos. Coxon reconheceu que o trabalho de segurança da Anthropic é sério, mas acredita que, enquanto as empresas competirem para serem as primeiras a criar AGI (inteligência artificial geral que supera os humanos numa vasta gama de tarefas), os compromissos de segurança são inevitáveis, e a autodisciplina de uma única empresa não pode resolver o problema. A sua avaliação das duas empresas é: muitas pessoas dentro da OpenAI ainda não percebem verdadeiramente a dimensão deste risco; a Anthropic conhece os riscos, mas acredita que os outros não são fiáveis, por isso têm de a criar eles próprios primeiro. Coxon afirmou que alguns profissionais de IA são muito mais pessimistas em privado do que expressam publicamente, chegando mesmo a temer que a IA possa destruir a humanidade antes do final desta década. Pessoalmente, julga que, no cenário mais radical, a IA pode ficar fora de controlo até ao final do próximo ano, pelo que tais decisões não devem ser tomadas apenas pelos engenheiros de algumas empresas.