Démission d'un chercheur d'Anthropic, qui affirme que l'IA pourrait devenir incontrôlable l'année prochaine

Jacob Coxon, chercheur chez Anthropic, a annoncé sa démission et s'apprête à quitter le secteur de l'IA. Au cours des trois dernières années, il a mené des recherches en pré-entraînement chez OpenAI et Anthropic. Il a souligné qu'aucune des deux entreprises n'a fait progresser l'IA de manière responsable et qu'elles se livrent une course pour créer une superintelligence capable d'améliorer continuellement ses propres capacités, « en misant nos vies là-dessus ». Il est passé d'OpenAI à Anthropic cette année parce que cette dernière accorde davantage d'importance à la sécurité des modèles. Coxon a reconnu que le travail de sécurité d'Anthropic est sérieux, mais estime que tant que les entreprises se précipitent pour être les premières à créer l'AGI (intelligence artificielle générale qui surpasse les humains dans un large éventail de tâches), des compromis sur la sécurité sont inévitables, et que l'autodiscipline d'une seule entreprise ne peut pas résoudre le problème. Son évaluation des deux entreprises est la suivante : de nombreuses personnes chez OpenAI ne réalisent toujours pas pleinement l'ampleur de ce risque ; Anthropic connaît les risques mais pense que les autres ne sont pas fiables, ils doivent donc la créer eux-mêmes en premier. Coxon a déclaré que certains praticiens de l'IA sont beaucoup plus pessimistes en privé qu'ils ne l'expriment publiquement, et craignent même que l'IA puisse détruire l'humanité avant la fin de cette décennie. Personnellement, il juge que dans le scénario le plus radical, l'IA pourrait devenir incontrôlable d'ici la fin de l'année prochaine, de telles décisions ne devraient donc pas être prises uniquement par les ingénieurs de quelques entreprises.