Cựu Phó Chủ tịch Nghiên cứu OpenAI: Nhà nghiên cứu con người chỉ còn 2 năm, toàn bộ nghiên cứu AI đang tự động hóa nhanh chóng

Con người chỉ còn hai năm cuối cùng để tiếp tục đóng vai trò quan trọng trong các khám phá nghiên cứu AI. Sau đó, toàn bộ vòng khép kín nghiên cứu và phát triển AI từ đề xuất giả thuyết đến xác minh sẽ được tự động hóa hoàn toàn. Việc sao chép mô hình Transformer của các công ty lớn là một "trò chơi không thể thắng", và nút thắt hiện tại để AI tiến xa hơn chính là kiến trúc. Trong tương lai, không chỉ các phòng thí nghiệm AI mà mọi doanh nghiệp lớn đều sẽ tiến tới tự động hóa hoàn toàn.

Trong lĩnh vực trí tuệ nhân tạo hiện nay, các nhà nghiên cứu đang đối mặt với một cảm giác giằng xé chưa từng có: một mặt là sự tiến bộ vượt bậc của công nghệ; mặt khác là sự kiệt sức vì bị vắt kiệt bởi vô số dòng code và thí nghiệm.

"Bạn thường nghe các nhà nghiên cứu AI lặp lại câu này: 'Công việc của chúng ta chỉ còn vài ngày nữa thôi, hãy tranh thủ làm khi còn có thể, rồi sau đó tất cả chúng ta có thể nghỉ ngơi.'" Cựu Phó Chủ tịch Nghiên cứu OpenAI Jerry Tworek đã đưa ra quan điểm hơi mang tính hài hước đen tối này trong một cuộc phỏng vấn gần đây.

Theo ông, đây tuyệt đối không phải là một câu nói đùa đơn giản. Với sự xuất hiện của kỷ nguyên "agent-native", AI đang nhanh chóng tiếp quản công việc nghiên cứu và phát triển. "Tôi ước tính sơ bộ rằng các nhà nghiên cứu con người sẽ tiếp tục đóng vai trò quan trọng trong quá trình khám phá nghiên cứu AI ít nhất là hai năm nữa."

Sau khi rời OpenAI, nơi ông đã gắn bó bảy năm, Jerry đã thành lập Core Automation. Tham vọng của ông không chỉ dừng lại ở việc phát triển mô hình ngôn ngữ lớn tiếp theo, mà còn là tái định hình cách vận hành của các công ty AI — dùng AI để nghiên cứu AI, tạo ra "phòng thí nghiệm AI thế hệ thứ ba" hoàn toàn tự động.

Sau đây là những điểm chính của cuộc phỏng vấn:

Đồng hồ đếm ngược cho các nhà nghiên cứu con người: Con người chỉ còn hai năm cuối cùng để tiếp tục đóng vai trò quan trọng trong các khám phá nghiên cứu AI. Sau đó, toàn bộ vòng khép kín nghiên cứu và phát triển AI từ đề xuất giả thuyết đến xác minh sẽ được tự động hóa hoàn toàn.

Sự trỗi dậy của phòng thí nghiệm AI thế hệ thứ ba: Khác với DeepMind/OpenAI thời kỳ đầu (thuần túy theo định hướng nghiên cứu) và các phòng thí nghiệm sau GPT-3 (tập trung vào mở rộng quy mô tính toán), phòng thí nghiệm thế hệ thứ ba đặt "tự động hóa" lên hàng đầu. Sử dụng các agent AI chi phí thấp thay thế con người thực hiện các thí nghiệm phức tạp và viết code, có thể rút ngắn chu kỳ nghiên cứu từ vài tháng xuống còn một ngày.

Thách thức sự thống trị của Transformer: Việc sao chép mô hình Transformer của các công ty lớn là một "trò chơi không thể thắng", và nút thắt hiện tại để AI tiến xa hơn chính là kiến trúc. Các phòng thí nghiệm thế hệ mới đang sử dụng các agent lập trình để khám phá từ đầu những kiến trúc mới từng bị gác lại vì "chi phí thử nghiệm quá cao", với mục tiêu hướng tới các mô hình mới có khả năng học trong thời gian kiểm thử (test time).

Hé lộ nội tình mô hình o1/o3: Học tăng cường quy mô lớn (RL) là con đường tất yếu để đạt được AGI. Ilya Sutskever đã dự đoán chính xác lộ trình từ năm 2019. Đột phá của dòng o (mô hình suy luận) bắt nguồn từ nhiều năm khám phá nền tảng của nhóm nghiên cứu, cùng với quyết định dốc toàn lực cho sức mạnh tính toán của ban lãnh đạo (như Jakub Pachocki) vào thời điểm then chốt.

"AI cấp công ty" sẽ trở thành sản phẩm tối thượng: Trong tương lai, không chỉ các phòng thí nghiệm AI mà mọi doanh nghiệp lớn đều sẽ tiến tới tự động hóa hoàn toàn. Trong "thời đại hậu lao động" khi những công việc lặp đi lặp lại được loại bỏ, con người sẽ có nhiều thời gian hơn để theo đuổi sự vĩ đại về tinh thần và thể chất.

Đếm ngược hai năm: Phòng thí nghiệm AI thế hệ thứ ba từ biệt "thực thi thủ công"

Jerry Tworek chia sự phát triển của các phòng thí nghiệm AI thành ba giai đoạn.

Thế hệ thứ nhất được đại diện bởi DeepMind và OpenAI thời kỳ đầu, ra đời trước khi "tính khả thi của AI quy mô lớn" được xác minh, là các tổ chức "định hướng nghiên cứu" thuần túy với mục tiêu đạt được AGI; thế hệ thứ hai ra đời sau khi GPT-3 được công bố, khi Scaling Law được chứng minh là hiệu quả, các phòng thí nghiệm bắt đầu cạnh tranh điên cuồng về sức mạnh tính toán, cố gắng tạo ra trí thông minh thông qua quy mô hóa (đại diện là Anthropic).

Và bây giờ, chúng ta đang chứng kiến sự xuất hiện của phòng thí nghiệm AI thế hệ thứ ba — chúng cố gắng đặt "tự động hóa" lên hàng đầu.

Trong nghiên cứu và phát triển AI truyền thống, việc đề xuất giả thuyết, viết code, chạy thí nghiệm quy mô nhỏ, rồi huy động hàng chục người trong nhiều tháng để mở rộng quy mô là một quá trình cực kỳ tốn kém và gặp nhiều trở ngại.

"Theo nhiều cách, cách làm hiện tại của chúng tôi là: các nhà nghiên cứu con người vẫn chịu trách nhiệm tạo ra sự thấu hiểu (Insight) và chỉ ra hướng đi, nhưng vai trò của các agent (Agents) là đơn giản hóa quá trình thực thi hết mức có thể." Jerry chỉ ra rằng mặc dù các agent hiện tại chưa giỏi trong việc khám phá mở hoặc đề xuất các giả thuyết cực kỳ chính xác, nhưng chỉ cần chỉ thị rõ ràng, khả năng thực thi của chúng là không thể chê trách.

"Nếu chúng ta có thể rút ngắn thời gian thí nghiệm từ một tháng xuống một ngày, đó là tăng tốc gấp 30 lần." Jerry dự đoán rằng hai năm nữa, toàn bộ vòng khép kín nghiên cứu AI — từ việc đưa ra ý tưởng đến xác minh dữ liệu — sẽ được tự động hóa hoàn toàn. Con người sẽ không còn đóng vai trò quyết định, giống như con người ngày nay trong các trận đấu cờ vua.

Tránh cuộc chiến sức mạnh tính toán, phá vỡ "sự thống trị mười năm" của Transformer

Hiện nay, hầu hết các công ty lớn hàng đầu đều đang cạnh tranh khốc liệt về sức mạnh tính toán trên kiến trúc Transformer. Nhưng theo Jerry, đối với các phòng thí nghiệm mới nổi (NeoLabs), việc mù quáng chạy theo là một thảm họa.

"Chỉ thuê một nhóm nhà nghiên cứu rồi nói 'chúng ta sẽ huấn luyện mô hình Transformer giống như OpenAI và Anthropic, và cố gắng cạnh tranh với họ' là một chiến lược rất tồi. Đây là một trò chơi không thể thắng."

Ông chỉ ra rằng, bị giới hạn bởi động cơ kinh tế và chi phí thử nghiệm cao, các công ty lớn có xu hướng đi theo con đường quy mô hóa an toàn nhất. Nhưng kinh nghiệm lịch sử cho thấy bất kỳ công nghệ nào ở giai đoạn đầu đều trải qua những thay đổi căn bản. "Nút thắt hiện tại để AI phát triển nhanh hơn, tiến bộ nhanh hơn chính là kiến trúc, tức là Transformer mà chúng ta đã sử dụng nhiều năm nay."

Tại sao trong mười năm qua không ai có thể thay thế Transformer thành công? Câu trả lời của Jerry là: chi phí thử nghiệm quá cao.

Trước đây, khi một nhà nghiên cứu muốn thử nghiệm một kiến trúc mới, việc viết code là rất khó. Ngay cả khi chạy thành công ở quy mô nhỏ, việc mở rộng quy mô vẫn đòi hỏi sự phê duyệt sức mạnh tính toán rất cao và nguồn lực nhóm. Nhiều ý tưởng sáng tạo đã bị bóp nghẹt trong ma sát quan liêu kéo dài, hoặc bị nhấn chìm bởi đà phát triển hiện có của Transformer.

Nhưng bây giờ tình hình đã thay đổi. "Việc viết code trở nên chi phí thấp hơn và dễ dàng hơn rất nhiều, đây có thể là một cách mở khóa độc đáo." Với các agent lập trình AI chi phí thấp, Core Automation đang cố gắng khám phá từ đầu những con đường kiến trúc từng bị từ bỏ. Mục tiêu "sao Bắc Cực" của họ rất rõ ràng: tạo ra các mô hình kiến trúc mới có khả năng học trong thời gian kiểm thử (test time) và học từ tương tác của người dùng.

Lần đầu hé lộ nội tình đột phá o1/o3: Kỳ tích của học tăng cường và sức mạnh tính toán

Là nhà phát triển cốt lõi của dòng o (mô hình suy luận) của OpenAI, Jerry cũng lần đầu tiên trong cuộc phỏng vấn hồi tưởng lại câu chuyện đằng sau bước đột phá mang tính lật đổ này.

Ngay từ đầu năm 2019, Ilya Sutskever đã mô tả chính xác lộ trình đến AGI trong cuộc họp toàn thể: "Chúng ta cần huấn luyện một mô hình tạo sinh khổng lồ với tất cả dữ liệu có thể có được, sau đó chúng ta cần huấn luyện bằng học tăng cường (RL)."

Hướng đi tuy rõ ràng, nhưng con đường thực thi lại dài và gập ghềnh. Jerry tiết lộ rằng khi GPT-3 bắt đầu được huấn luyện, phản ứng đầu tiên của ông là làm thế nào để sử dụng nó cho học tăng cường. Codex thế hệ đầu tiên chính là kết quả thử nghiệm kết hợp mô hình ngôn ngữ lớn với học tăng cường. Tuy nhiên, bị giới hạn bởi dữ liệu, thuật toán và thiết lập thí nghiệm, nhóm đã không thể mở rộng nó một cách hiệu quả trong một thời gian dài.

"Những thứ này lúc đó đều âm thầm phát triển ở hậu trường. Trong một thời gian dài, các nỗ lực đều không mang lại lợi ích lớn."

Bước ngoặt đến từ một "dấu hiệu sự sống" và quyết định quyết đoán của ban lãnh đạo. Khi mô hình cuối cùng cũng cho thấy tia lửa yếu ớt có thể hiệu quả dưới học tăng cường, nhà khoa học trưởng Jakub Pachocki đã nhanh chóng nắm bắt cơ hội: "Jerry, bây giờ chúng ta có những GPU này. Hãy xem liệu chúng ta có thể bắt đầu mở rộng cái này, liệu có thể làm cho kết quả hiện tại lớn hơn và mạnh hơn không."

Trong các phòng thí nghiệm AI thiếu sức mạnh tính toán, "con gà có trước hay quả trứng có trước" (có kết quả trước hay có sức mạnh tính toán trước) là vấn đề nan giải muôn thuở. Nhưng chính sự dốc toàn lực cho sức mạnh tính toán "cứ làm đi" của cấp cao đã thắp lửa cho toàn bộ nhóm.

"Điều này khiến chúng tôi vô cùng phấn khích. Chúng tôi đã nỗ lực gấp ba để suy nghĩ về loại dữ liệu, hệ thống và thí nghiệm nào cần thiết để chứng minh nó có thể mở rộng liên tục. Sự phấn khích mang lại kết quả thí nghiệm, và kết quả lại tạo ra đà phát triển." Cuối cùng, bằng cách nâng quy mô học tăng cường lên vài bậc độ lớn, các mô hình suy luận o1, o3 gây chấn động ngành đã ra đời.

Tầm nhìn tối thượng: "AI cấp công ty" và tưởng tượng về thời đại hậu lao động

Khi nói về sản phẩm tương lai của Core Automation, tầm nhìn của Jerry vượt xa các mô hình AI đơn thuần.

"Chúng tôi muốn biến công ty của mình thành công ty tự động hóa nhất trên thế giới, và sử dụng nó như một bản thiết kế. Chúng tôi sẽ xây dựng một thứ giống như 'bộ não công ty', tập trung tất cả thông tin của công ty, nhân viên kết nối qua thiết bị đầu cuối, trở thành người dùng của một AI công ty."

Khi được hỏi nếu các công ty lớn nhỏ cuối cùng đều đạt được tự động hóa hoàn toàn, tương lai của nhân loại sẽ đi về đâu, Jerry đã đưa ra một viễn cảnh "hậu lao động (post-labor)" đầy tính triết học.

Các công ty lớn có bộ máy quan liêu cồng kềnh nhất sẽ được tự động hóa đầu tiên, AI sẽ tiếp quản việc truyền tải thông tin và tối ưu hóa quy trình. Điều này có nghĩa là "lao động thủ công" mà con người đã phải thực hiện trong mười vạn năm để sinh tồn sẽ dần đi đến hồi kết. Nếu các mỏ có thể tự vận hành để cung cấp tài nguyên, phần mềm có thể tự vá lỗ hổng và phát triển tính năng mới, con người sẽ không còn phải ép mình "làm công ăn lương" một cách khổ sở để thế giới vận hành.

Nhưng điều này không có nghĩa là lao động chấm dứt tuyệt đối. Jerry cho rằng trọng tâm trong tương lai sẽ chuyển sang "tăng cường con người (human augmentation)" và theo đuổi sự vĩ đại tột cùng.

"Tôi hơi giống như đang tưởng tượng một thế giới: chúng ta sống như các triết gia Hy Lạp cổ đại, tụ tập ở quảng trường, suốt ngày thảo luận triết học với nhau, rèn luyện thân thể, làm những điều chúng ta muốn. Con người nên nỗ lực trở nên vĩ đại cả về thể chất lẫn tinh thần, giống như thể thao chuyên nghiệp ngày nay, không có lý do kinh tế để làm, nhưng chúng ta nỗ lực vì sự vĩ đại. Đó mới là phần quan trọng nhất đối với chúng ta."

Khi thời gian đếm ngược hai năm đang trôi qua, dù là nhà nghiên cứu AI hay bất kỳ người bình thường nào trong làn sóng kinh tế tri thức, có lẽ đã đến lúc phải suy nghĩ lại về định nghĩa của "công việc".