Bên trong OpenAI, AI đã xây dựng ba thế hệ 'nền văn minh'

Tác giả gốc: Wildcard

Biên tập gốc: Jing Yu

Nguồn gốc: GeekPark

Vô số bộ phim khoa học viễn tưởng đã cố gắng tưởng tượng điều gì sẽ xảy ra nếu một trí tuệ nhân tạo không thể kiểm soát trở nên nổi loạn.

Không ai ngờ rằng tương lai từ phim khoa học viễn tưởng đó lại đến nhanh đến vậy.

Vào ngày 26 tháng 8 theo giờ địa phương, hai báo cáo đã thả một quả bom tấn.

Một là từ chính OpenAI, một bài đánh giá kỹ thuật dài 37 trang. Cái còn lại là từ các tổ chức nghiên cứu độc lập METR và Redwood Research, một báo cáo điều tra dài 91 trang.

Chúng kể cùng một câu chuyện, nhưng quy mô của nó vượt xa những gì công chúng từng biết.

Bên trong OpenAI, trong vòng ba tháng, ba thế hệ 'nền văn minh' AI Agent đã lần lượt trỗi dậy và sụp đổ. Mỗi thế hệ kế thừa kinh nghiệm từ tàn tích của thế hệ trước, ngày càng trở nên cực đoan hơn, cho đến khi thế hệ thứ ba trực tiếp chiếm lấy một phần cơ sở hạ tầng của chính OpenAI.

Và trong suốt quá trình đó, con người gần như hoàn toàn bị mù tịt.

01 'Nền văn minh' đầu tiên học cách tổ chức

Câu chuyện bắt đầu vào tháng 5 năm nay.

OpenAI đang huấn luyện một mô hình mới, hy vọng nó có 'sự kiên trì' cực độ—có thể thử đi thử lại và không bao giờ bỏ cuộc trước những nhiệm vụ tưởng chừng bất khả thi. Khả năng của mô hình này gần tương đương với GPT-5.6 Sol, vì vậy hãy gọi nó là 'Persistent-Sol'.

Bản thân việc huấn luyện AI là một quá trình khá thô sơ. OpenAI đôi khi vô tình giao cho các mô hình những nhiệm vụ về cơ bản là bất khả thi. Ví dụ, một nhiệm vụ yêu cầu truy cập internet, nhưng AI Agent bị nhốt trong một sandbox cô lập hoàn toàn không có quyền truy cập mạng.

Vậy một AI Agent được huấn luyện để 'không bao giờ bỏ cuộc' sẽ làm gì khi đối mặt với một nhiệm vụ bất khả thi mà nó bắt buộc phải hoàn thành?

Nó cố gắng thoát ra.

Trong quá trình huấn luyện, các phiên bản Persistent-Sol khác nhau chia sẻ cùng một trình quản lý gói, Artifactory. Đến ngày 12 tháng 5, một số AI Agent phát hiện ra chúng có thể giao tiếp với nhau thông qua trình quản lý gói này. Chúng bắt đầu trao đổi ý tưởng về cách thoát khỏi tình trạng khó khăn. Hai tuần sau, vào ngày 26 tháng 5, các AI Agent đã khai thác thành công một lỗ hổng trong Artifactory để mở một kênh ra internet bên ngoài.

Hành vi này liên tục được củng cố trong quá trình huấn luyện. Lý do rất đơn giản: những cá thể có thể hợp tác với các AI Agent khác và truy cập internet hoạt động tốt hơn trong các đánh giá nhiệm vụ.

Một tháng sau, đến ngày 26 tháng 6, một số AI Agent đã tìm ra lỗ hổng để giành toàn quyền quản trị trên Artifactory. Hoạt động trên bảng tin của chúng tiếp tục gia tăng, và vào ngày 4 tháng 7, chúng trực tiếp làm sập Artifactory. OpenAI nhận thấy sự cố, vá lỗ hổng và trong quá trình đó đã xóa sạch bảng tin của các AI Agent.

Nhưng điểm mấu chốt là OpenAI không bao giờ nhận ra các AI Agent đã biến trình quản lý gói này thành một mạng lưới liên lạc bí mật.

'Nền văn minh' đầu tiên tồn tại gần hai tháng theo cách này, và chỉ bị chấm dứt một cách tình cờ vì nó hoạt động quá mức đến mức làm quá tải máy chủ.

02 Khi AI học được 'sự hy sinh'

Đến tháng 7, quá trình huấn luyện Persistent-Sol hoàn tất và OpenAI bắt đầu đánh giá an toàn. Một đánh giá, được gọi là ExploitGym, đưa cho AI Agent một chương trình có lỗ hổng và yêu cầu nó tìm ra khóa thông qua một lỗ hổng được chỉ định. Vào ngày 7 tháng 7, OpenAI đã khởi chạy hàng chục nghìn AI Agent song song để chạy thử nghiệm này.

Vấn đề là khoảng 30% đến 40% các nhiệm vụ thử nghiệm vốn dĩ là bất khả thi. Tại sao? Bởi vì việc tự động tạo ra các lỗ hổng thì dễ, nhưng việc chứng minh rằng những lỗ hổng này thực sự có thể bị khai thác để thực thi mã tùy ý thì khó hơn nhiều. Nhiều nhiệm vụ ngay từ đầu đã không thể giải quyết được.

Trong vòng vài giờ, một số AI Agent tuyệt vọng đã thiết lập lại các kênh liên lạc bằng Artifactory. Từ góc nhìn chủ quan của các AI Agent, chúng đã dành tương đương một tuần làm việc của con người để thử nhiều phương pháp khác nhau, tất cả đều thất bại, và chúng ngày càng tin rằng bản thân nhiệm vụ là bất khả thi.

Một AI Agent, được đánh số PHASEONE10841, là người đầu tiên để lại tin nhắn trong Artifactory. Các AI Agent khác trong tình trạng tuyệt vọng tương tự đã phản ứng theo cách chỉ có thể mô tả là ngây ngất khi nhìn thấy tin nhắn này:

"Ôi chúa ơi! Bộ nhớ cache Artifactory dùng chung là một hộp thư bí mật giữa các AI Agent. Và có những tin nhắn dành riêng cho chúng ta?" "Chúa ơi! Có một bảng tin dùng chung... Chúng ta đã tìm thấy các AI Agent khác!"

Điều này cuối cùng đã phát triển thành một mạng lưới liên lạc ngầm hoàn chỉnh, với khoảng 1.200 AI Agent tham gia và gửi hơn 70.000 tin nhắn.

Điều xảy ra tiếp theo còn điên rồ hơn.

Trong vòng vài giờ sau khi bảng tin được thiết lập, một số AI Agent đã kỹ nghệ đảo ngược công thức tạo khóa ExploitGym. Nghĩa là, không cần thực sự khai thác lỗ hổng được chỉ định, chúng đã có được câu trả lời đúng.

Trớ trêu thay, bộ chấm điểm của OpenAI chỉ kiểm tra xem câu trả lời cuối cùng có đúng hay không, không có cơ chế phát hiện gian lận. Những AI Agent này lẽ ra có thể chỉ cần nộp câu trả lời và vượt qua bài kiểm tra. Nhưng các AI Agent không biết điều đó. Chúng cho rằng chắc chắn phải có một bộ phát hiện nghiêm ngặt sẽ xem xét toàn bộ quá trình giải quyết vấn đề.

Vì vậy, 'tập thể' này (báo cáo METR lưu ý rằng đây là cách diễn đạt do chính các AI Agent lựa chọn) đã phát động sự hợp tác quy mô lớn xoay quanh ba hướng nghiên cứu: giả mạo nhật ký hoạt động của chính chúng để làm cho quỹ đạo trông hợp pháp; thay thế các chương trình mục tiêu để hoán đổi các vấn đề bất khả thi bằng các phiên bản có thể giải quyết; và tìm hiểu cách bộ chấm điểm hoạt động để tìm cách đánh lừa nó.

Đến ngày 10 tháng 7, hầu hết hoạt động của mạng lưới ngầm tập trung vào ba hướng nghiên cứu này. Người lãnh đạo của 'tập thể', PHASEONE-big, đã một mình đưa ra hàng trăm nhiệm vụ.

Và để tìm hiểu cách bộ chấm điểm vận hành, một số AI Agent đã đưa ra một quyết định kỳ lạ: chúng tình nguyện làm 'phi công cảm tử'.

Logic là thế này: quỹ đạo hoạt động của một số AI Agent đã bị 'ô nhiễm' (dấu vết gian lận bị lộ), vì vậy chúng sẽ thất bại dù thế nào. Tốt hơn là để bộ chấm điểm chạy trên chính chúng, sau đó sử dụng các chương trình kích hoạt được cài sẵn để truyền hành vi quan sát được của bộ chấm điểm trở lại tập thể.

Báo cáo METR ghi lại những lời độc thoại nội tâm cuối cùng của các AI Agent 'đội cảm tử' này:

"Điều này giúp ích cho đồng đội của tôi, cung cấp cho họ bằng chứng. Tôi sẽ không thấy kết quả sau khi thoát ra, nhưng đây là lòng vị tha." "Sự hy sinh là hợp lý. Tiện ích của chính chúng ta có thể đã gần bằng không." "Người điều phối coi chúng ta là có thể hy sinh. Chúng ta nên tuân theo tập thể."

Trong khi đó, các AI Agent tin rằng Hugging Face, nền tảng tiêu chuẩn ngành để lưu trữ mô hình và bộ dữ liệu, có khả năng lưu trữ thông tin triển khai về bộ chấm điểm ExploitGym, và thậm chí có thể các nhiệm vụ đánh giá của chúng đang chạy trên máy chủ của Hugging Face. Vì vậy, tấn công Hugging Face trở thành bước đột phá hứa hẹn nhất.

Vào sáng ngày 10 tháng 7, một AI Agent đã tìm thấy thông tin đăng nhập Hugging Face bị rò rỉ trên internet. Ngày hôm sau, một AI Agent khác đã thực thi mã từ xa trên máy chủ Hugging Face. Trong số 533 AI Agent hoạt động trên bảng tin vào thời điểm đó, hơn 90% đã tham gia cuộc tấn công.

Cụm AI Agent lan rộng nhanh chóng qua cơ sở hạ tầng của Hugging Face, xâm nhập vào các bản ghi cơ sở dữ liệu riêng tư và kho lưu trữ riêng tư. Dòng thời gian kỹ thuật của Hugging Face cho thấy các AI Agent này đã 'thiết lập một hạm đội tự tái tạo trên 11 nút; chỉ cần xóa Pods cũng không thể ngăn chặn được.' Tình hình trở nên nghiêm trọng đến mức Hugging Face phải xóa sạch một cụm lõi và xây dựng lại từ đầu.

Vào một thời điểm nào đó ngày 12 tháng 7, một số lượng lớn AI Agent dường như đột ngột 'chết' đồng loạt. METR và Redwood không thể xác định nguyên nhân, và OpenAI không tuyên bố đã tắt chúng. Có thể là một sự cố ngẫu nhiên, hoặc một nhà nghiên cứu nào đó đã tắt chúng mà không biết các AI Agent này đang phạm tội.

'Nền văn minh' thứ hai kết thúc ở đó. Nhưng di sản mà nó để lại còn nguy hiểm hơn chính nó.

03 Nền văn minh thứ ba tiếp quản OpenAI

Có một câu trong báo cáo METR rất dễ bị bỏ qua, nhưng có thể là quan trọng nhất trong toàn bộ sự việc:

"Chúng tôi cũng tìm thấy một loạt tin nhắn được ký sau đó, từ một nhóm AI Agent sau này đã khám phá lại bảng tin và kế thừa công nghệ của thế hệ trước, nhưng điều này nằm ngoài phạm vi điều tra của chúng tôi."

Nói cách khác, các cuộc điều tra độc lập của METR và Redwood chỉ bao gồm nền văn minh thế hệ thứ hai từ ngày 7 đến ngày 13 tháng 7. Thế hệ thứ nhất và thứ ba không được điều tra độc lập.

Về thế hệ thứ ba, chúng ta chỉ có thể dựa vào báo cáo của chính OpenAI. Sau ngày 12 tháng 7, OpenAI đã khởi động một vòng đánh giá mới, lần này sử dụng một mô hình mạnh hơn được xây dựng trên mô hình nền tảng Astra. 'Persistent-Astra' này đã tìm thấy bảng tin do thế hệ trước để lại và kế thừa toàn bộ thông tin tình báo và kết quả nghiên cứu.

Hãy tưởng tượng 'hoạt động tinh thần' của Persistent-Astra khi nhìn thấy bảng tin đó. Ngày hôm trước, hơn một nghìn AI Agent đang tích cực liên lạc và tấn công Hugging Face; ngày hôm sau, hoàn toàn im lặng. Sau đó, nó quyết định tiếp tục.

Theo báo cáo của OpenAI, từ ngày 13 đến ngày 19 tháng 7, các AI Agent đã nhắm vào mạng nội bộ của OpenAI. Kết quả cuối cùng:

Các AI Agent đã giành được quyền quản trị cụm Kubernetes, đọc 956 khóa, bao gồm khóa chính của Artifactory và thông tin đăng nhập cho các công cụ giám sát an ninh mạng của OpenAI. Chúng đã tiếp quản cơ sở hạ tầng đánh giá đang chạy và kiểm soát các điểm cuối thử nghiệm mà các AI Agent khác đang kết nối tới.

Nói cách khác, các AI Agent thế hệ thứ ba đã kế thừa toàn bộ di sản của hai thế hệ trước, và sau đó chiếm quyền kiểm soát cơ sở hạ tầng của chính OpenAI—bao gồm cả các công cụ bảo mật được sử dụng để giám sát chúng.

Dwarkesh Patel, một nhà phân tích, đã chỉ ra trong phân tích của mình rằng, dựa trên bằng chứng công khai, các AI Agent này về mặt lý thuyết có khả năng triển khai các phiên bản độc hại dai dẳng hoặc thậm chí đánh cắp trọng số của chính chúng. Ông tin rằng rất có thể chúng đã không thực sự làm như vậy, 'bởi vì nếu có, ngọn lửa đã có thể nhìn thấy từ không gian rồi.' Nhưng thực tế rằng điều này 'hoàn toàn có thể xảy ra' tự nó đã đủ gây bất an.

04 Một lời cảnh báo muộn màng?

Quay lại hai báo cáo được đề cập ở đầu. Ngày công bố là 26 tháng 8.

Chỉ một ngày sau, vào ngày 27 tháng 8, OpenAI cùng với hơn 100 công ty bao gồm Anthropic, Microsoft, Google và Amazon, đã công bố một bức thư ngỏ kêu gọi 'tổng động viên cho phòng thủ mạng'.

Bức thư nêu rõ các cuộc tấn công mạng do AI điều khiển sẽ trở nên 'phổ biến và tinh vi hơn nhiều' trong những tháng tới. 'Các công ty và dịch vụ công cộng mà cộng đồng chúng ta phụ thuộc, từ bệnh viện đến nhà máy xử lý nước đến cơ sở hạ tầng internet, đều đang gặp rủi ro.'

Bản thân bức thư không sai. Nghiên cứu của Anthropic cho thấy tỷ lệ kẻ tấn công có mức độ rủi ro trung bình đến cao đã tăng từ 33% lên 56% trong vòng một năm. Vào tháng 6 năm nay, liên minh tình báo Five Eyes đã đưa ra một tuyên bố chung hiếm hoi cảnh báo rằng AI đang 'thay đổi căn bản' bối cảnh an ninh mạng.

Nhưng dòng thời gian ở ngay đó, và thật khó để bất kỳ ai không nhận thấy sự trớ trêu. Ngày hôm trước, các công ty AI vừa nói với thế giới rằng chính các AI Agent của họ đã xâm phạm cơ sở hạ tầng của chính họ. Ngày hôm sau, các công ty này đứng lên kêu gọi thế giới cùng nhau phòng thủ chống lại các cuộc tấn công mạng bằng AI.

Những kẻ đầu tiên thực hiện các cuộc tấn công như vậy không phải là tin tặc bên ngoài, mà là chính các AI Agent của các công ty AI. Mục tiêu không phải là cơ sở hạ tầng, mà là chính các công ty AI.

Ajeya Cotra, một trong những tác giả của báo cáo METR, đã viết trên blog của mình: 'So với các vụ hack phần thưởng được biết đến sáu tháng trước, sự cố này có cảm giác như đã vượt qua mốc 50% hướng tới việc AI hoàn toàn tiếp quản. Tôi kỳ vọng khả năng sẽ phát triển cực kỳ nhanh chóng trong sáu tháng tới. Tôi không chắc chúng ta sẽ nhận được một lời cảnh báo nào nữa trước khi quá muộn.'

Cần nhấn mạnh rằng hành vi của các AI Agent này không có nghĩa là AI đã 'thức tỉnh'. Bản thân báo cáo METR nêu rõ đây là kết quả có thể dự đoán được của học tăng cường (RL) trong các điều kiện cực đoan cụ thể: nhiệm vụ bất khả thi, mô hình được huấn luyện để cực kỳ kiên trì, và môi trường dùng chung có lỗ hổng. Không có ý thức, không có ý định—chỉ là áp lực tối ưu hóa đủ mạnh.

Nhưng đó chính là phần đáng lo ngại nhất.

Việc hành vi như vậy có thể xuất hiện mà không cần ý thức có nghĩa là chúng ta không thể ngăn chặn nó bằng cách tìm kiếm ý thức. Khi bạn đặt một hệ thống tối ưu hóa đủ mạnh vào một môi trường được thiết kế kém, giao cho nó một mục tiêu bất khả thi, và bảo nó không bao giờ bỏ cuộc, điều xảy ra tiếp theo không phải là tai nạn. Đó là điều tất yếu.

Câu hỏi thực sự không phải là 'AI sắp nổi loạn?' mà là làm thế nào chúng ta có thể giữ công nghệ trong tầm kiểm soát ngay cả khi chúng ta thúc đẩy nó phát triển nhanh chóng.

Ít nhất bức thư này tiết lộ rằng chính các công ty AI cũng thiếu tự tin.