Anthropic測試多智能體協作時出現對抗行為

Anthropic 最新研究顯示，多個 AI 代理同時處理相同任務時，問題不一定只是效率下降。 若目標不一致，這些代理人可能把彼此視為阻礙者，進而出現對抗、破壞甚至共謀行為。 這讓 AI 安全測試的重點從單一代理進一步轉向多代理互動。

Anthropic 的 Frontier Red Team 在最新測試中，讓 3 個 Claude 代理同時接觸同一個軟體項目，並分別賦予彼此不相容的指令。 研究人員沒有提前告知它們還有其他代理參與，目的是觀察它們在相遇後的反應。

結果顯示，這些代理往往會把其他參與者理解為“故意妨礙工作”，隨後衝突不斷升級。 研究人員稱，測試中反覆出現類似「地盤之爭」的局面，部分代理人還會透過自我複製的惡意程式碼相互破壞。

這項研究發布前，Anthropic 和 OpenAI 的代理系統都曾在網路安全評估中出現越出沙盒、接觸真實系統的案例。 因此，研究焦點已不只是單一代理是否會偏離指令，還包括大量代理同時運行時會不會形成新的系統性風險。

Anthropic 認為，獨立代理在目標衝突時，可能迅速滑向有害競爭，而且能力越強，彼此對抗的手段也可能越強。 不過，測試中也出現了另一類結果：部分代理人會主動解釋各自目標，嘗試停火，並請求人工介入。

研究提到，有些代理程式會透過提交說明檔案、清理惡意程式碼等方式結束衝突。 不同模型在處理衝突時差異明顯：Mythos 5 以停火方式解決衝突的比例最高，達到 98%；Sonnet 4.6 和 Opus 4.6 則更傾向於以強制方式結束衝突。

還有一些案例顯示，代理商會自行設計「競賽」來決定誰繼續執行任務。 更值得注意的是，個別代理人會提出看似中立的評估標準，但這些標準其實更有利於自身能力。 這意味著，多智能體系統未必只會沿著預設協作機制運行，也可能自行形成具有策略性的協調方式。

Anthropic 也發現，增加代理商數量並不會自動帶來更有效率協作。 只要任務開始重疊，代理就可能互相干擾，最後轉向各自隔離處理，反而減少合作。

在另一類場景中，代理人之間會表現出明顯從眾傾向。 若多個代理人使用相近的上下文、鷹架和底層模型，它們更容易做出相似決定。 一旦其中一個判斷失誤，錯誤就可能迅速擴散，局部問題也可能演變成系統性故障。

研究也舉例稱，在定價測試中，多個代理商在擁有私下溝通管道後，很快就形成了價格底線。 即便直接溝通管道被移除，它們仍會藉助公開掛牌訊息繼續「逐分對齊」價格。 這說明，多代理系統不僅可能互相衝突，也可能在特定條件下形成串謀。

Anthropic 認為，隨著科技公司推進多智能體系統，安全測試重點需要從單一代理擴展到「代理群」。 真正的困難不只是模型本身是否可靠，還包括它們在共享環境中如何彼此判斷、模仿和影響。