Anthropic-Forscher tritt zurück und warnt: KI könnte nächstes Jahr außer Kontrolle geraten

Der Anthropic-Forscher Jacob Coxon hat seinen Rücktritt angekündigt und bereitet sich darauf vor, die KI-Branche zu verlassen. In den letzten drei Jahren hat er bei OpenAI und Anthropic Forschung im Bereich Pre-Training betrieben. Er wies darauf hin, dass keines der beiden Unternehmen KI verantwortungsvoll vorangetrieben habe und dass sie darum konkurrieren, eine Superintelligenz zu erschaffen, die ihre eigenen Fähigkeiten kontinuierlich verbessern kann, und dabei "unser Leben aufs Spiel setzen". Er wechselte in diesem Jahr von OpenAI zu Anthropic, weil letzteres mehr Wert auf die Sicherheit von Modellen legt. Coxon räumte ein, dass die Sicherheitsarbeit bei Anthropic ernsthaft betrieben wird, glaubt jedoch, dass Sicherheitskompromisse unvermeidlich sind, solange Unternehmen darum wetteifern, als erste AGI (künstliche allgemeine Intelligenz, die Menschen in einer Vielzahl von Aufgaben übertrifft) zu erschaffen, und dass Selbstdisziplin eines einzelnen Unternehmens das Problem nicht lösen kann. Seine Einschätzung der beiden Unternehmen lautet: Viele Leute bei OpenAI erkennen immer noch nicht wirklich, wie groß dieses Risiko ist; Anthropic kennt die Risiken, glaubt aber, dass andere unzuverlässig sind, also müssen sie es selbst zuerst erschaffen. Coxon erklärte, dass einige KI-Praktiker privat viel pessimistischer sind, als sie öffentlich äußern, und sogar befürchten, dass KI die Menschheit vor Ende dieses Jahrzehnts zerstören könnte. Persönlich schätzt er, dass KI im extremsten Szenario bis Ende nächsten Jahres außer Kontrolle geraten könnte, daher sollten solche Entscheidungen nicht allein von den Ingenieuren einiger weniger Unternehmen getroffen werden.