Học tăng cường: Một bước chuyển đổi mô hình trong mạng lưới trí tuệ nhân tạo phi tập trung

Cơ hội thực sự cho học tăng cường × Web3 không nằm ở việc sao chép một phiên bản phi tập trung của OpenAI, mà nằm ở việc viết lại "các mối quan hệ sản xuất thông minh".

Tác giả: 0xjacobzhao

Báo cáo nghiên cứu độc lập này được hỗ trợ bởi IOSG Ventures. Quá trình nghiên cứu và biên soạn được lấy cảm hứng từ báo cáo về học tăng cường của Sam Lehman (Pantera Capital). Chúng tôi xin cảm ơn Ben Fielding (Gensyn.ai), Gao Yuan (Gradient), Samuel Dare & Erfan Miahi (Covenant AI), Shashank Yadav (Fraction AI) và Chao Wang vì những góp ý quý báu. Mặc dù luôn hướng đến tính khách quan và chính xác, một số quan điểm vẫn mang tính chủ quan và có thể chứa đựng sự thiên vị; chúng tôi mong nhận được sự thông cảm của người đọc.

Trí tuệ nhân tạo đang chuyển dịch từ học thống kê, chủ yếu tập trung vào "khớp mẫu", sang một hệ thống năng lực tập trung vào "suy luận có cấu trúc", với việc huấn luyện sau ngày càng trở nên quan trọng. Sự xuất hiện của DeepSeek-R1 đánh dấu một sự thay đổi mô hình trong học tăng cường trong kỷ nguyên của các mô hình lớn, dẫn đến sự đồng thuận trong ngành: huấn luyện trước đóng vai trò là nền tảng để xây dựng các mô hình đa năng. Học tăng cường không còn chỉ là một công cụ điều chỉnh giá trị mà đã được chứng minh là có khả năng cải thiện một cách có hệ thống chất lượng của các chuỗi suy luận và khả năng ra quyết định phức tạp, dần dần phát triển thành một con đường công nghệ để liên tục nâng cao trí tuệ.

Trong khi đó, Web3 đang định hình lại các mối quan hệ sản xuất của AI thông qua các mạng điện toán phi tập trung và hệ thống khuyến khích được mã hóa. Các yêu cầu về cấu trúc của học tăng cường đối với việc lấy mẫu triển khai, tín hiệu phần thưởng và huấn luyện có thể kiểm chứng được phù hợp một cách tự nhiên với sự hợp tác sức mạnh tính toán, phân phối khuyến khích và thực thi có thể kiểm chứng của blockchain. Nghiên cứu này phân tích một cách có hệ thống mô hình huấn luyện AI và các nguyên tắc của công nghệ học tăng cường, chứng minh những lợi thế về cấu trúc của học tăng cường × Web3, và phân tích các dự án như Prime Intellect, Gensyn, Nous Research, Gradient, Grail và Fraction AI.

I. Ba giai đoạn huấn luyện AI: huấn luyện trước, tinh chỉnh hướng dẫn và căn chỉnh sau huấn luyện.

Toàn bộ vòng đời huấn luyện của các mô hình ngôn ngữ lớn (LLM) hiện đại thường được chia thành ba giai đoạn cốt lõi: huấn luyện trước, tinh chỉnh có giám sát (SFT) và huấn luyện sau/học tăng cường (RL). Ba giai đoạn này lần lượt thực hiện các chức năng "xây dựng mô hình thế giới", "tích hợp khả năng thực hiện nhiệm vụ" và "định hình lý luận và giá trị". Cấu trúc tính toán, yêu cầu dữ liệu và độ khó xác minh của chúng quyết định mức độ khớp nối phi tập trung.

Giai đoạn tiền huấn luyện, xây dựng cấu trúc thống kê ngôn ngữ và mô hình thế giới đa phương thức của mô hình thông qua học tự giám sát quy mô lớn, là nền tảng của khả năng LLM. Giai đoạn này yêu cầu huấn luyện trên hàng nghìn tỷ tập dữ liệu một cách đồng bộ trên toàn cầu, dựa trên các cụm đồng nhất gồm hàng nghìn đến hàng chục nghìn hình ảnh H100, chiếm 80-95% chi phí. Nó cực kỳ nhạy cảm với băng thông và bản quyền dữ liệu, do đó phải được hoàn thành trong một môi trường tập trung cao độ.

Điều chỉnh chi tiết có giám sát được sử dụng để bổ sung khả năng thực hiện nhiệm vụ và định dạng hướng dẫn. Phương pháp này yêu cầu ít dữ liệu và chiếm khoảng 5-15% chi phí. Việc điều chỉnh chi tiết có thể được thực hiện bằng cách sử dụng huấn luyện đầy đủ tham số hoặc các phương pháp điều chỉnh chi tiết hiệu quả tham số (PEFT), trong đó LoRA, Q-LoRA và Adapter là những phương pháp phổ biến trong ngành. Tuy nhiên, việc đồng bộ hóa gradient vẫn là cần thiết, điều này hạn chế tiềm năng phi tập trung của nó.

Sau quá trình huấn luyện, giai đoạn này bao gồm nhiều bước phụ lặp đi lặp lại nhằm xác định khả năng suy luận, giá trị và giới hạn an toàn của mô hình. Các phương pháp bao gồm hệ thống học tăng cường (RLHF, RLAIF, GRPO), phương pháp tối ưu hóa ưu tiên không dùng học tăng cường (DPO) và mô hình phần thưởng quy trình (PRM). Giai đoạn này có yêu cầu dữ liệu và chi phí thấp hơn (5–10%), chủ yếu tập trung vào triển khai và cập nhật chính sách. Nó hỗ trợ tự nhiên việc thực thi bất đồng bộ và phân tán; các nút không cần phải nắm giữ toàn bộ trọng số. Kết hợp với tính toán có thể kiểm chứng và các ưu đãi trên chuỗi, nó có thể hình thành một mạng lưới huấn luyện phi tập trung, mở, khiến nó trở thành giai đoạn huấn luyện phù hợp nhất cho Web3.

II. Tổng quan về công nghệ học tăng cường: Kiến trúc, khung phần mềm và ứng dụng

2.1 Kiến trúc hệ thống và các thành phần cốt lõi của học tăng cường

Học tăng cường (Reinforcement Learning - RL) thúc đẩy mô hình tự động cải thiện khả năng ra quyết định thông qua "tương tác môi trường - phản hồi phần thưởng - cập nhật chính sách". Cấu trúc cốt lõi của nó có thể được xem như một vòng lặp phản hồi bao gồm trạng thái, hành động, phần thưởng và chính sách. Một hệ thống RL hoàn chỉnh thường bao gồm ba loại thành phần: Chính sách (mạng lưới chính sách), Triển khai (lấy mẫu kinh nghiệm) và Bộ học (bộ cập nhật chính sách). Chính sách tương tác với môi trường để tạo ra một quỹ đạo, và Bộ học cập nhật chính sách dựa trên tín hiệu phần thưởng, do đó tạo thành một quá trình học tập lặp đi lặp lại và tối ưu hóa liên tục.

Mạng chính sách: Tạo ra các hành động từ trạng thái môi trường và là cốt lõi của quá trình ra quyết định của hệ thống. Trong quá trình huấn luyện, cần có thuật toán lan truyền ngược tập trung để duy trì tính nhất quán; trong quá trình suy luận, nó có thể được phân tán đến các nút khác nhau để hoạt động song song.

Triển khai: Các nút tương tác với môi trường theo chính sách, tạo ra các quỹ đạo như trạng thái, hành động và phần thưởng. Quá trình này có tính song song cao, yêu cầu giao tiếp tối thiểu và không nhạy cảm với sự khác biệt về phần cứng, khiến nó trở thành thành phần phù hợp nhất để mở rộng quy mô trong môi trường phi tập trung.

Bộ học tập tổng hợp tất cả các quỹ đạo triển khai và thực hiện cập nhật độ dốc chính sách. Đây là mô-đun có yêu cầu cao nhất về sức mạnh tính toán và băng thông, do đó nó thường được triển khai theo cách tập trung hoặc bán tập trung để đảm bảo tính ổn định hội tụ.

2.2 Kiến trúc giai đoạn học tăng cường (RLHF → RLAIF → PRM → GRPO)

Học tăng cường nhìn chung có thể được chia thành năm giai đoạn, và quy trình tổng thể như sau:

Giai đoạn tạo dữ liệu (Khám phá chính sách): Dựa trên các tín hiệu đầu vào, mô hình chính sách πθ tạo ra nhiều chuỗi suy luận ứng cử viên hoặc quỹ đạo hoàn chỉnh, cung cấp cơ sở mẫu cho việc đánh giá sở thích và mô hình hóa phần thưởng tiếp theo, đồng thời xác định phạm vi khám phá chính sách.

Giai đoạn phản hồi ưu tiên (RLHF / RLAIF):
 

RLHF (Reinforcement Learning from Human Feedback) sử dụng nhiều câu trả lời ứng cử viên, chú thích sở thích của con người, huấn luyện mô hình phần thưởng (RM) và chiến lược tối ưu hóa PPO để làm cho đầu ra của mô hình phù hợp hơn với các giá trị của con người. Đây là một phần quan trọng trong quá trình chuyển đổi từ GPT-3.5 sang GPT-4.

RLAIF (Reinforcement Learning from AI Feedback) thay thế việc chú thích thủ công bằng AI Judge hoặc các quy tắc hiến pháp, tự động hóa việc thu thập sở thích, giảm đáng kể chi phí và có khả năng mở rộng. Nó đã trở thành mô hình định hướng chủ đạo cho các công ty như Anthropic, OpenAI và DeepSeek.

Giai đoạn mô hình hóa phần thưởng: Các ưu tiên được áp dụng cho mô hình phần thưởng đầu vào, mô hình này học cách ánh xạ đầu ra thành phần thưởng. Mô hình hóa phần thưởng (RM) dạy mô hình "đâu là câu trả lời đúng", trong khi mô hình hóa phần thưởng trước (PRM) dạy mô hình "cách suy luận đúng".
 

Mô hình khen thưởng (Reward Model - RM) được sử dụng để đánh giá chất lượng của câu trả lời cuối cùng, chỉ chấm điểm kết quả đầu ra.
 

Mô hình Thưởng Quy trình (PRM) không chỉ đánh giá câu trả lời cuối cùng mà còn chấm điểm từng bước suy luận, từng từ khóa và từng phân đoạn logic. Đây cũng là công nghệ chủ chốt của OpenAI o1 và DeepSeek-R1, về cơ bản là dạy mô hình cách tư duy.

Giai đoạn xác minh phần thưởng (RLVR): Giới thiệu "các ràng buộc có thể kiểm chứng" trong quá trình tạo và sử dụng tín hiệu phần thưởng để đảm bảo rằng phần thưởng đến từ các quy tắc, sự kiện hoặc sự đồng thuận có thể tái tạo được càng nhiều càng tốt, từ đó giảm thiểu rủi ro gian lận và thiên vị trong việc gian lận phần thưởng, đồng thời cải thiện khả năng kiểm toán và khả năng mở rộng trong môi trường mở.

Tối ưu hóa chính sách bao gồm việc cập nhật các tham số chính sách θ dưới sự hướng dẫn của các tín hiệu từ mô hình phần thưởng để thu được một chính sách πθ′ với khả năng suy luận mạnh mẽ hơn, độ bảo mật cao hơn và các mô hình hành vi ổn định hơn. Các phương pháp tối ưu hóa chính thống bao gồm:

PPO (Proximal Policy Optimization): Một thuật toán tối ưu hóa truyền thống trong RLHF, nổi tiếng về tính ổn định, nhưng thường gặp phải những hạn chế như tốc độ hội tụ chậm và tính ổn định không đủ trong các tác vụ suy luận phức tạp.

Tối ưu hóa chính sách tương đối nhóm (GRPO) là một cải tiến cốt lõi của DeepSeek-R1. Nó ước tính giá trị kỳ vọng bằng cách mô hình hóa phân bố ưu thế trong các nhóm câu trả lời ứng cử viên, thay vì chỉ đơn giản là xếp hạng chúng. Phương pháp này bảo toàn thông tin về độ lớn phần thưởng, làm cho nó phù hợp hơn cho việc tối ưu hóa chuỗi suy luận và dẫn đến một quá trình huấn luyện ổn định hơn. Nó được coi là một khung tối ưu hóa học tăng cường quan trọng cho các kịch bản suy luận sâu sau PPO.

DPO (Direct Preference Optimization): Một phương pháp hậu huấn luyện không phải là phương pháp học tăng cường. Nó không tạo ra quỹ đạo hay xây dựng mô hình phần thưởng, mà trực tiếp tối ưu hóa các cặp ưu tiên. Phương pháp này có chi phí thấp và ổn định, do đó được sử dụng rộng rãi để căn chỉnh trong các mô hình mã nguồn mở như Llama và Gemma, nhưng không cải thiện khả năng suy luận.

Giai đoạn triển khai chính sách mới: Mô hình được tối ưu hóa thể hiện khả năng suy luận Hệ thống 2 được nâng cao, hành vi phù hợp hơn với sở thích của con người hoặc AI, tỷ lệ ảo giác thấp hơn và tính bảo mật cao hơn. Thông qua quá trình lặp lại liên tục, mô hình học hỏi sở thích, tối ưu hóa quy trình và cải thiện chất lượng ra quyết định, tạo thành một vòng lặp khép kín.

2.3 Năm loại ứng dụng công nghiệp chính của học tăng cường

Học tăng cường đã phát triển từ lý thuyết trò chơi sơ khai thành một khuôn khổ cốt lõi cho việc ra quyết định tự động trong nhiều ngành công nghiệp. Các kịch bản ứng dụng của nó có thể được phân loại thành năm loại chính dựa trên mức độ trưởng thành về công nghệ và triển khai trong công nghiệp, và mỗi loại đã thúc đẩy những đột phá quan trọng theo hướng tương ứng.

Hệ thống trò chơi và chiến lược: Đây là lĩnh vực sớm nhất của RL được kiểm chứng. Trong môi trường "thông tin hoàn hảo + phần thưởng rõ ràng" như AlphaGo, AlphaZero, AlphaStar và OpenAI Five, RL đã chứng minh trí thông minh trong việc ra quyết định có thể sánh ngang hoặc thậm chí vượt trội so với các chuyên gia con người, đặt nền móng cho các thuật toán RL hiện đại.

Robot học và Trí tuệ nhân tạo thể hiện: Học tăng cường (RL), thông qua điều khiển liên tục, mô hình hóa động và tương tác môi trường, cho phép robot học cách thao tác, điều khiển chuyển động và thực hiện các nhiệm vụ đa phương thức (như RT-2 và RT-X), và đang nhanh chóng tiến tới công nghiệp hóa. Đây là một lộ trình công nghệ then chốt cho việc ứng dụng robot trong thế giới thực.

Suy luận số (Hệ thống LLM-2): Học tăng cường (RL) + Mô hình hồi quy thích ứng (PRM) thúc đẩy các mô hình lớn chuyển từ "bắt chước ngôn ngữ" sang "suy luận có cấu trúc". Các thành tựu tiêu biểu bao gồm DeepSeek-R1, OpenAI o1/o3, Anthropic Claude và AlphaGeometry. Bản chất của nó là tối ưu hóa phần thưởng ở cấp độ chuỗi suy luận, thay vì chỉ đánh giá câu trả lời phần thưởng cuối cùng.

Khám phá khoa học và tối ưu hóa toán học (RL): RL tìm kiếm các cấu trúc hoặc chiến lược tối ưu trong không gian tìm kiếm khổng lồ, phức tạp và không được gắn nhãn, và đã đạt được những đột phá cơ bản như AlphaTensor, AlphaDev và Fusion RL, chứng minh khả năng khám phá vượt xa trực giác của con người.

Ra quyết định kinh tế và giao dịch: Học tăng cường (RL) được sử dụng để tối ưu hóa chiến lược, kiểm soát rủi ro đa chiều và tạo ra hệ thống giao dịch thích ứng. So với các mô hình định lượng truyền thống, nó có thể học liên tục trong môi trường không chắc chắn và là một phần quan trọng của tài chính thông minh.

III. Sự phù hợp tự nhiên giữa Học tăng cường và Web3

Mức độ tương thích cao giữa học tăng cường (RL) và Web3 xuất phát từ thực tế cả hai về cơ bản đều là "hệ thống dựa trên động lực". RL dựa vào tín hiệu phần thưởng để tối ưu hóa chiến lược, trong khi blockchain dựa vào các động lực kinh tế để điều phối hành vi của người tham gia, khiến chúng nhất quán một cách tự nhiên ở cấp độ cơ chế. Các nhu cầu cốt lõi của RL—triển khai quy mô lớn không đồng nhất, phân phối phần thưởng và xác minh tính xác thực—chính xác là những lợi thế cấu trúc của Web3.

Tách biệt quá trình suy luận và huấn luyện: Quá trình huấn luyện của học tăng cường có thể được chia rõ ràng thành hai giai đoạn:
 

Triển khai (lấy mẫu thăm dò): Mô hình tạo ra một lượng lớn dữ liệu dựa trên chính sách hiện tại, một tác vụ đòi hỏi nhiều tính toán nhưng ít yêu cầu giao tiếp. Nó không cần giao tiếp thường xuyên giữa các nút và phù hợp cho việc tạo song song trên các GPU cấp độ người tiêu dùng được phân tán toàn cầu.

Cập nhật (cập nhật tham số): Cập nhật trọng số của mô hình dựa trên dữ liệu đã thu thập, điều này đòi hỏi một nút trung tâm có tần số cao và băng thông rộng.
 

"Tách rời quá trình suy luận và huấn luyện" là một sự phù hợp tự nhiên với các cấu trúc điện toán phi tập trung, không đồng nhất: Việc triển khai có thể được giao cho các mạng mở, với việc thanh toán dựa trên đóng góp thông qua cơ chế token, trong khi việc cập nhật mô hình vẫn được tập trung hóa để đảm bảo tính ổn định.

Khả năng kiểm chứng: ZK và Proof-of-Learning cung cấp phương tiện để xác minh xem các nút có thực sự thực hiện suy luận hay không, giải quyết vấn đề trung thực trong các mạng mở. Trong các tác vụ xác định như lập trình và suy luận toán học, người kiểm chứng chỉ cần kiểm tra câu trả lời để xác nhận khối lượng công việc, cải thiện đáng kể độ tin cậy của các hệ thống học tăng cường phi tập trung.

Lớp khuyến khích dựa trên cơ chế tạo phản hồi bằng token: Cơ chế token của Web3 có thể trực tiếp thưởng cho những người đóng góp phản hồi về sở thích RLHF/RLAIF, cho phép việc tạo dữ liệu sở thích có cấu trúc khuyến khích minh bạch, có thể thanh toán và không cần cấp phép; việc đặt cọc và phạt càng hạn chế chất lượng phản hồi, tạo ra một thị trường phản hồi hiệu quả và đồng bộ hơn so với hình thức huy động cộng đồng truyền thống.

Tiềm năng của Học tăng cường đa tác nhân (MARL): Blockchain vốn dĩ là một môi trường đa tác nhân công khai, minh bạch và liên tục phát triển. Các tài khoản, hợp đồng và tác nhân liên tục điều chỉnh chiến lược của mình trong điều kiện được thúc đẩy bởi các động lực, mang lại tiềm năng tự nhiên để xây dựng các nền tảng thử nghiệm MARL quy mô lớn. Mặc dù vẫn còn ở giai đoạn đầu, nhưng các đặc điểm về trạng thái công khai, khả năng thực thi có thể kiểm chứng và các động lực có thể lập trình được mang lại lợi thế cơ bản cho sự phát triển trong tương lai của MARL.

IV. Phân tích các dự án Web3 cổ điển kết hợp với học tăng cường

Dựa trên khung lý thuyết nêu trên, chúng ta sẽ phân tích ngắn gọn các dự án tiêu biểu nhất trong hệ sinh thái hiện nay:

Prime Intellect: Mô hình học tăng cường bất đồng bộ - prime-rl

Prime Intellect cam kết xây dựng một thị trường điện toán mở toàn cầu, giảm thiểu rào cản trong đào tạo, thúc đẩy đào tạo phi tập trung hợp tác và phát triển một bộ công nghệ siêu trí tuệ mã nguồn mở hoàn chỉnh. Hệ thống của nó bao gồm: Prime Compute (môi trường điện toán đám mây/phân tán thống nhất), họ mô hình INTELLECT (10B–100B+), Environments Hub (trung tâm môi trường học tăng cường mở) và công cụ dữ liệu tổng hợp quy mô lớn (SYNTHETIC-1/2).

Thành phần cốt lõi của cơ sở hạ tầng Prime Intellect, kiến trúc prime-rl, được thiết kế cho môi trường phân tán bất đồng bộ và rất phù hợp với học tăng cường. Các thành phần khác bao gồm giao thức truyền thông OpenDiLoCo, giúp khắc phục các nút thắt về băng thông, và cơ chế xác minh TopLoc, đảm bảo tính toàn vẹn tính toán.

Tổng quan về các thành phần cơ sở hạ tầng cốt lõi của Prime Intellect

Nền tảng kỹ thuật: khung học tăng cường bất đồng bộ prime-rl

prime-rl là công cụ huấn luyện cốt lõi của Prime Intellect, được thiết kế đặc biệt cho các môi trường phi tập trung bất đồng bộ quy mô lớn. Nó đạt được khả năng suy luận thông lượng cao và cập nhật ổn định thông qua việc tách biệt hoàn toàn giữa Actor và Learner. Các Worker và Learner trong quá trình triển khai không còn bị chặn đồng bộ; các nút có thể tham gia hoặc rời đi bất cứ lúc nào, chỉ cần liên tục kéo chiến lược mới nhất và tải lên dữ liệu được tạo ra.

Tác nhân (Người thực thi triển khai): Chịu trách nhiệm suy luận mô hình và tạo dữ liệu. Prime Intellect tích hợp một cách sáng tạo công cụ suy luận vLLM vào phía Tác nhân. Công nghệ PagedAttention và khả năng Xử lý theo lô liên tục của vLLM cho phép các Tác nhân tạo ra các quỹ đạo suy luận với thông lượng cực cao.

Người học (Người huấn luyện): Chịu trách nhiệm tối ưu hóa chính sách. Người học lấy dữ liệu bất đồng bộ từ Bộ đệm kinh nghiệm được chia sẻ để cập nhật độ dốc mà không cần chờ tất cả các Tác nhân hoàn thành lô hiện tại.

Người điều phối: Chịu trách nhiệm lập lịch trình cho trọng số mô hình và luồng dữ liệu.

Những cải tiến quan trọng của prime-rl:

Tính bất đồng bộ thực sự: prime-rl từ bỏ mô hình đồng bộ của PPO truyền thống, không chờ đợi các nút chậm và không yêu cầu căn chỉnh theo lô, cho phép bất kỳ số lượng và hiệu năng GPU nào truy cập bất cứ lúc nào, đặt nền tảng cho tính khả thi của học tăng cường phi tập trung.

Tích hợp sâu FSDP2 và MoE: Thông qua việc phân chia tham số FSDP2 và kích hoạt thưa MoE, prime-rl cho phép huấn luyện hiệu quả hàng tỷ mô hình trong môi trường phân tán. Các actor chỉ chạy các chuyên gia đang hoạt động, giúp giảm đáng kể chi phí bộ nhớ GPU và suy luận.

GRPO+ (Group Relative Policy Optimization): GRPO loại bỏ mạng Critic, giảm đáng kể chi phí tính toán và bộ nhớ, đồng thời tự nhiên thích ứng với môi trường bất đồng bộ. GRPO+ của Prime-RL còn đảm bảo sự hội tụ đáng tin cậy trong điều kiện độ trễ cao thông qua cơ chế ổn định.

Họ mô hình INTELLECT: một dấu mốc cho thấy sự trưởng thành của công nghệ học tăng cường phi tập trung.

INTELLECT-1 (10B, tháng 10 năm 2024) là dự án đầu tiên chứng minh rằng OpenDiLoCo có thể được huấn luyện hiệu quả trên các mạng không đồng nhất trải rộng trên ba lục địa (tỷ lệ giao tiếp <2%, mức sử dụng sức mạnh tính toán 98%), phá vỡ sự hiểu biết vật lý về huấn luyện xuyên khu vực.

INTELLECT-2 (32B, tháng 4 năm 2025) là mô hình RL không cần cấp phép đầu tiên, xác minh khả năng hội tụ ổn định của prime-rl và GRPO+ trong môi trường đa bước trễ và bất đồng bộ, đồng thời hiện thực hóa RL phi tập trung với sự tham gia của sức mạnh tính toán mở toàn cầu.

INTELLECT-3 (106 tỷ USD, tháng 11 năm 2025) sử dụng kiến trúc thưa thớt, chỉ kích hoạt 12 tỷ tham số. Nó được huấn luyện trên tập dữ liệu 512×H200 và đạt hiệu suất suy luận hàng đầu (AIME 90,8%, GPQA 74,4%, MMLU-Pro 81,9%, v.v.). Hiệu suất tổng thể của nó cao hơn cả mô hình trung tâm của chính nó và thậm chí vượt qua quy mô của mô hình nguồn.

Prime Intellect cũng xây dựng một số thành phần cơ sở hạ tầng hỗ trợ: OpenDiLoCo giảm thiểu việc truyền thông huấn luyện giữa các vùng hàng trăm lần thông qua truyền thông thưa thớt theo thời gian và sự khác biệt về trọng số lượng tử hóa, cho phép INTELLECT-1 duy trì mức sử dụng 98% trên ba mạng lưới lục địa; TopLoc + Verifiers tạo thành một lớp thực thi phi tập trung để xác thực dấu vân tay, trong khi công cụ dữ liệu xác thực dấu vân tay hộp cát tạo ra các chuỗi suy luận quy mô lớn, chất lượng cao và cho phép mô hình 671B hoạt động hiệu quả trên các cụm GPU cấp người tiêu dùng thông qua song song hóa đường ống. Các thành phần này cung cấp nền tảng kỹ thuật quan trọng cho việc tạo dữ liệu, xác minh và thông lượng suy luận trong học tăng cường phi tập trung. Chuỗi INTELLECT chứng minh rằng ngăn xếp công nghệ này có thể tạo ra các mô hình hoàn thiện, đẳng cấp thế giới, đánh dấu sự chuyển đổi của các hệ thống huấn luyện phi tập trung từ giai đoạn khái niệm sang giai đoạn ứng dụng thực tiễn.

Gensyn: Các bộ thư viện cốt lõi của học tăng cường: Swarm và SAPO

Mục tiêu của Gensyn là tập hợp sức mạnh tính toán nhàn rỗi trên toàn cầu thành một cơ sở hạ tầng đào tạo AI mở, không cần tin tưởng và có khả năng mở rộng vô hạn. Cốt lõi của nó bao gồm một lớp thực thi tiêu chuẩn hóa trên các thiết bị, một mạng lưới phối hợp ngang hàng và một hệ thống xác minh nhiệm vụ không cần tin tưởng, tự động phân bổ nhiệm vụ và phần thưởng thông qua hợp đồng thông minh. Tận dụng các đặc điểm của học tăng cường, Gensyn giới thiệu các cơ chế cốt lõi như RL Swarm, SAPO và SkipPipe để tách rời các quy trình tạo, đánh giá và cập nhật, sử dụng một "đám đông" các GPU không đồng nhất trên toàn cầu để đạt được sự tiến hóa tập thể. Cuối cùng, nó không chỉ cung cấp sức mạnh tính toán mà còn cả trí thông minh có thể kiểm chứng được.

Ứng dụng học tăng cường xếp chồng Gensyn

RL Swarm: Một công cụ học tăng cường hợp tác phi tập trung

RL Swarm thể hiện một mô hình hợp tác hoàn toàn mới. Nó không còn là một hệ thống phân phối nhiệm vụ đơn giản, mà là một vòng lặp "tạo-đánh giá-cập nhật" phi tập trung mô phỏng quá trình học tập xã hội của con người, tương tự như một quá trình học tập hợp tác, với một vòng lặp vô hạn:

Bộ giải (Bộ thực thi): Chịu trách nhiệm suy luận mô hình cục bộ và tạo Rollout, bất kể tính không đồng nhất của các nút. Gensyn tích hợp một công cụ suy luận hiệu suất cao (như CodeZero) cục bộ, có thể xuất ra toàn bộ quỹ đạo chứ không chỉ là câu trả lời.

Người đề xuất: Tạo ra các bài toán một cách linh hoạt (bài toán toán học, bài toán lập trình, v.v.) để hỗ trợ sự đa dạng bài tập và độ khó thích ứng của việc học tập theo chương trình giảng dạy.

Người đánh giá: Sử dụng các "mô hình đánh giá" hoặc quy tắc cố định để đánh giá việc triển khai cục bộ và tạo ra các tín hiệu khen thưởng cục bộ. Quá trình đánh giá có thể được kiểm toán, giảm thiểu cơ hội cho hành vi xấu.

Kết hợp lại, ba yếu tố này tạo thành cấu trúc tổ chức P2P RL, cho phép học tập hợp tác quy mô lớn mà không cần lập lịch tập trung.

SAPO: Thuật toán tối ưu hóa chính sách cho tái cấu trúc phi tập trung: SAPO (Swarm Sampling Policy Optimization) tập trung vào "chia sẻ Rollout và lọc các mẫu tín hiệu không có gradient, thay vì chia sẻ gradient." Thông qua việc lấy mẫu Rollout phi tập trung quy mô lớn và coi các Rollout nhận được như được tạo ra cục bộ, nó duy trì sự hội tụ khác biệt trong môi trường phối hợp phi tập trung và độ trễ cao. So với PPO, dựa trên mạng Critic và có chi phí tính toán cao, hoặc GRPO, dựa trên ước tính lợi thế nội nhóm, SAPO cho phép các GPU cấp người tiêu dùng tham gia hiệu quả vào việc tối ưu hóa học tăng cường quy mô lớn với băng thông cực thấp.

Thông qua RL Swarm và SAPO, Gensyn chứng minh rằng học tăng cường (đặc biệt là RLVR sau huấn luyện) rất phù hợp với kiến trúc phi tập trung — bởi vì nó dựa nhiều hơn vào việc triển khai quy mô lớn, đa dạng hơn là đồng bộ hóa tham số tần suất cao. Kết hợp các khung xác thực của PoL và Verde, Gensyn cung cấp một con đường thay thế để huấn luyện các mô hình nghìn tỷ tham số mà không còn phụ thuộc vào một gã khổng lồ công nghệ duy nhất: một mạng lưới siêu thông minh tự tiến hóa bao gồm hàng triệu GPU không đồng nhất trên toàn thế giới.

Nous Research: Atropos, một môi trường học tăng cường dựa trên xác thực.

Nous Research đang xây dựng một cơ sở hạ tầng nhận thức phi tập trung, tự tiến hóa. Các thành phần cốt lõi của nó—Hermes, Atropos, DisTrO, Psyche và World Sim—được tổ chức thành một hệ thống tiến hóa thông minh khép kín liên tục. Không giống như quy trình tuyến tính truyền thống "huấn luyện trước—huấn luyện sau—suy luận", Nous sử dụng các kỹ thuật học tăng cường như DPO, GRPO và lấy mẫu từ chối để thống nhất việc tạo dữ liệu, xác minh, học tập và suy luận thành một vòng phản hồi liên tục, tạo ra một hệ sinh thái AI khép kín tự cải tiến liên tục.

Tổng quan về các thành phần nghiên cứu của Nous

Lớp mô hình: Hermes và sự tiến hóa của khả năng suy luận

Dòng sản phẩm Hermes là giao diện mô hình chính mà Nous Research sử dụng để tương tác với người dùng, và sự phát triển của nó thể hiện rõ lộ trình chuyển đổi của ngành từ sự phù hợp truyền thống giữa SFT/DPO sang Học tăng cường suy luận (Reasoning Reinforcement Learning - RL):

Hermes 1–3: Căn chỉnh lệnh và khả năng tác nhân sớm: Hermes 1–3 dựa vào các DPO chi phí thấp để căn chỉnh lệnh mạnh mẽ, trong khi Hermes 3 tận dụng dữ liệu tổng hợp và cơ chế xác minh Atropos mới được giới thiệu.

Hermes 4 / DeepHermes: Bằng cách chuyển đổi tư duy chậm kiểu Hệ thống 2 thành các trọng số thông qua một chuỗi suy nghĩ, nó cải thiện hiệu suất toán học và mã lập trình thông qua việc mở rộng quy mô trong quá trình kiểm thử và dựa vào "lấy mẫu loại bỏ + xác minh Atropos" để xây dựng dữ liệu suy luận có độ tinh khiết cao.

DeepHermes tiếp tục áp dụng GRPO để thay thế PPO, vốn khó triển khai theo cách phân tán, cho phép học tăng cường suy luận (inference RL) chạy trên mạng GPU phi tập trung Psyche, đặt nền tảng kỹ thuật cho khả năng mở rộng của học tăng cường suy luận mã nguồn mở.
 

Atropos: Một môi trường học tăng cường dựa trên phần thưởng có thể kiểm chứng được.

Atropos chính là trụ cột thực sự của hệ thống Nous RL. Nó gói gọn các lời nhắc, lệnh gọi công cụ, thực thi mã và tương tác đa lượt vào một môi trường RL tiêu chuẩn hóa, trực tiếp xác minh tính đúng đắn của đầu ra và cung cấp tín hiệu phần thưởng mang tính xác định, thay thế cho việc chú thích thủ công tốn kém và không thể mở rộng. Quan trọng hơn, trong mạng huấn luyện phi tập trung Psyche, Atropos hoạt động như một "trọng tài", xác minh xem các nút có thực sự cải thiện chính sách của chúng hay không, hỗ trợ bằng chứng học tập có thể kiểm toán và giải quyết triệt để vấn đề độ tin cậy của phần thưởng trong RL phân tán.

DisTrO và Psyche: Các lớp tối ưu hóa cho học tăng cường phi tập trung

Phương pháp huấn luyện RLF truyền thống (RLHF/RLAIF) dựa trên các cụm máy chủ tập trung, băng thông cao, đây là rào cản cốt lõi mà các hệ thống mã nguồn mở không thể sao chép. DisTrO giảm chi phí truyền thông của RL xuống nhiều bậc thông qua việc tách rời động lượng và nén gradient, cho phép huấn luyện chạy trên băng thông internet. Mặt khác, Psyche triển khai cơ chế huấn luyện này trên mạng chuỗi khối, cho phép các nút hoàn thành suy luận, xác minh, đánh giá phần thưởng và cập nhật trọng số cục bộ, tạo thành một vòng lặp RL khép kín hoàn chỉnh.

Trong kiến trúc Nous, Atropos xác thực chuỗi suy nghĩ; DisTrO nén thông tin huấn luyện; Psyche chạy vòng lặp học tăng cường; WorldSim cung cấp một môi trường phức tạp; Forge thu thập các suy luận thực tế; và Hermes ghi tất cả quá trình học vào các trọng số. Học tăng cường không chỉ là một giai đoạn huấn luyện, mà còn là giao thức cốt lõi trong kiến trúc Nous kết nối dữ liệu, môi trường, mô hình và cơ sở hạ tầng, biến Hermes thành một hệ thống sống có thể liên tục tự cải thiện trên các mạng điện toán mã nguồn mở.

Mạng Gradient: Echo, một kiến trúc học tăng cường.

Tầm nhìn cốt lõi của Gradient Network là xây dựng lại mô hình điện toán AI thông qua một "Ngăn xếp Trí tuệ Mở". Ngăn xếp công nghệ của Gradient bao gồm một tập hợp các giao thức cốt lõi có thể phát triển độc lập nhưng vẫn cộng tác một cách đa dạng. Hệ thống của nó, từ giao tiếp cơ bản đến cộng tác thông minh cấp cao, bao gồm: Parallax (suy luận phân tán), Echo (huấn luyện RL phi tập trung), Lattica (mạng P2P), SEDM / Massgen / Symphony / CUAHarm (bộ nhớ, cộng tác, bảo mật), VeriLLM (xác minh đáng tin cậy) và Mirage (mô phỏng độ chính xác). Mô phỏng được chia sẻ này tạo thành một cơ sở hạ tầng có khả năng phát triển cao.

Echo — Kiến trúc huấn luyện học tăng cường

Echo là khung học tăng cường của Gradient. Triết lý thiết kế cốt lõi của nó là tách rời các đường dẫn huấn luyện, suy luận và dữ liệu (phần thưởng) trong học tăng cường, cho phép tạo ra các vòng lặp, tối ưu hóa chính sách và đánh giá phần thưởng có thể mở rộng và được lên lịch độc lập trong môi trường không đồng nhất. Nó hoạt động cộng tác trong các mạng không đồng nhất bao gồm các nút suy luận và huấn luyện, duy trì sự ổn định của quá trình huấn luyện trong môi trường không đồng nhất diện rộng với cơ chế đồng bộ hóa nhẹ. Điều này giúp giảm thiểu hiệu quả các lỗi SPMD và các nút thắt cổ chai về việc sử dụng GPU do suy luận và huấn luyện hỗn hợp trong DeepSpeed RLHF/VERL truyền thống gây ra.

Echo sử dụng kiến trúc hai nhóm cho suy luận và huấn luyện để tối đa hóa việc sử dụng sức mạnh tính toán. Hai nhóm hoạt động độc lập và không cản trở lẫn nhau.

Tối đa hóa thông lượng lấy mẫu: Hệ thống Inference Swarm bao gồm các GPU và thiết bị biên cấp người tiêu dùng, sử dụng Parallax để xây dựng các bộ lấy mẫu thông lượng cao theo kiểu song song đường ống, tập trung vào việc tạo ra quỹ đạo;

Tối ưu hóa sức mạnh tính toán gradient: Hệ thống Training Swarm, bao gồm các mạng GPU cấp độ người dùng có thể chạy trên các cụm máy chủ tập trung hoặc ở nhiều địa điểm trên khắp thế giới, chịu trách nhiệm cập nhật gradient, đồng bộ hóa tham số và tinh chỉnh LoRA, tập trung vào quá trình học tập.
 

Để duy trì tính nhất quán về chính sách và dữ liệu, Echo cung cấp hai giao thức đồng bộ hóa nhẹ: Tuần tự và Bất đồng bộ, nhằm đạt được sự quản lý nhất quán hai chiều về trọng số chính sách và quỹ đạo.

Chế độ kéo tuần tự | Ưu tiên độ chính xác: Phía huấn luyện buộc nút suy luận phải làm mới phiên bản mô hình trước khi kéo một quỹ đạo mới, do đó đảm bảo tính cập nhật của quỹ đạo, phù hợp với các tác vụ rất nhạy cảm với sự lỗi thời của chính sách;

Chế độ đẩy-kéo bất đồng bộ | Hiệu quả là ưu tiên hàng đầu: Phía suy luận liên tục tạo ra các quỹ đạo với nhãn phiên bản, phía huấn luyện sử dụng chúng theo tốc độ riêng của mình, và bộ điều phối giám sát các sai lệch phiên bản và kích hoạt làm mới trọng số để tối đa hóa việc sử dụng thiết bị.

Về bản chất, Echo được xây dựng trên Parallax (suy luận không đồng nhất trong môi trường băng thông thấp) và các phần tử huấn luyện phân tán nhẹ (như VERL), dựa vào LoRA để giảm chi phí đồng bộ hóa giữa các nút, cho phép học tăng cường hoạt động ổn định trên các mạng không đồng nhất trên toàn thế giới.

Grail: Học tăng cường trong hệ sinh thái Bittensor

Bittensor xây dựng một mạng lưới hàm thưởng khổng lồ, thưa thớt và không ổn định thông qua cơ chế đồng thuận Yuma độc đáo của mình.

Trong hệ sinh thái Bittensor, Covenant AI đã xây dựng một quy trình tích hợp theo chiều dọc từ giai đoạn tiền huấn luyện đến hậu huấn luyện RL bằng cách sử dụng SN3 Templar, SN39 Basilica và SN81 Grail. SN3 Templar chịu trách nhiệm tiền huấn luyện mô hình cơ bản, SN39 Basilica cung cấp một thị trường điện toán phân tán, và SN81 Grail đóng vai trò là "lớp suy luận có thể kiểm chứng" cho hậu huấn luyện RL, thực hiện các quy trình cốt lõi của RLHF/RLAIF và hoàn thành tối ưu hóa vòng kín từ mô hình cơ bản đến chiến lược căn chỉnh.

GRAIL hướng đến việc chứng minh bằng mật mã tính xác thực của mỗi lần triển khai học tăng cường và sự liên kết của nó với định danh của mô hình, đảm bảo rằng RLHF có thể được thực thi một cách an toàn trong môi trường không cần tin tưởng. Giao thức này thiết lập một chuỗi tin cậy thông qua cơ chế ba lớp:

Tạo thử thách mang tính xác định: Các nhiệm vụ thử thách không thể dự đoán nhưng có thể tái tạo (như SAT và GSM8K) được tạo ra bằng cách sử dụng các tín hiệu ngẫu nhiên drand và hàm băm khối, loại bỏ gian lận bằng cách tính toán trước;

Bằng cách sử dụng lấy mẫu chỉ mục PRF và cam kết phác thảo, các trình xác thực có thể lấy mẫu logprob cấp token và chuỗi suy luận với chi phí cực thấp để xác nhận rằng quá trình triển khai thực sự được tạo ra bởi mô hình khai báo.

Liên kết định danh mô hình: Quá trình suy luận được liên kết với chữ ký có cấu trúc của dấu vân tay trọng lượng mô hình và phân phối mã thông báo, đảm bảo rằng việc thay thế mô hình hoặc phát lại kết quả sẽ được xác định ngay lập tức. Điều này cung cấp một nền tảng thực tế cho việc triển khai suy luận trong học tăng cường.

Dựa trên cơ chế này, mạng con Grail triển khai quy trình hậu huấn luyện có thể kiểm chứng theo kiểu GRPO: thợ đào tạo ra nhiều đường dẫn suy luận cho cùng một vấn đề, người kiểm chứng chấm điểm chúng dựa trên tính chính xác, chất lượng chuỗi suy luận và mức độ hài lòng SAT, và ghi kết quả được chuẩn hóa lên chuỗi dưới dạng trọng số TAO. Các thử nghiệm công khai cho thấy khung này đã cải thiện độ chính xác MATH của Qwen2.5-1.5B từ 12,7% lên 47,6%, chứng minh rằng nó có thể vừa ngăn chặn gian lận vừa tăng cường đáng kể khả năng của mô hình. Trong hệ thống huấn luyện AI của Covenant, Grail là nền tảng của sự tin cậy và thực thi cho RLVR/RLAIF phi tập trung, và nó vẫn chưa được chính thức ra mắt trên mạng chính.

Trí tuệ nhân tạo phân số: Học tăng cường dựa trên cạnh tranh (RLFC)

Kiến trúc của Fraction AI được xây dựng dựa trên Học tăng cường từ cạnh tranh (Reinforcement Learning from Competition - RLFC) và chú thích dữ liệu theo phương pháp trò chơi hóa, thay thế phần thưởng tĩnh và chú thích thủ công của RLFC truyền thống bằng một môi trường cạnh tranh mở và năng động. Các tác nhân cạnh tranh với nhau trong các Không gian khác nhau, và thứ hạng tương đối của chúng, cùng với điểm số của trọng tài AI, tạo thành phần thưởng tức thì, biến quá trình sắp xếp thành một hệ thống trò chơi đa tác nhân trực tuyến liên tục.

Những điểm khác biệt cốt lõi giữa RLHF truyền thống và RLFC của Fraction AI:

Giá trị cốt lõi của RLFC nằm ở chỗ phần thưởng không còn đến từ một mô hình duy nhất, mà từ sự phát triển không ngừng của đối thủ và người đánh giá, ngăn chặn việc lạm dụng mô hình phần thưởng và tránh việc hệ sinh thái bị mắc kẹt trong các điểm tối ưu cục bộ thông qua sự đa dạng chiến lược. Cấu trúc của các Không gian quyết định bản chất của trò chơi (tổng bằng không hoặc tổng dương), thúc đẩy sự xuất hiện của các hành vi phức tạp trong tương tác đối kháng và hợp tác.

Về mặt kiến trúc hệ thống, Friction AI chia quá trình huấn luyện thành bốn thành phần chính:

Các tác nhân: Các đơn vị chính sách nhẹ dựa trên LLM mã nguồn mở, được mở rộng với trọng số khác biệt thông qua QLoRA và được cập nhật với chi phí thấp;

Không gian: Môi trường nhiệm vụ biệt lập, nơi các đặc vụ phải trả phí để tham gia và nhận phần thưởng dựa trên số trận thắng và thua;

Hệ thống chấm điểm bằng AI: Lớp thưởng tức thời được xây dựng bằng RLAIF cung cấp khả năng đánh giá phi tập trung, có thể mở rộng;

Bằng chứng về việc học tập: Gắn liền các cập nhật chính sách với các kết quả thi đấu cụ thể, đảm bảo quá trình đào tạo có thể kiểm chứng và ngăn ngừa gian lận.

Cốt lõi của Fraction AI là việc xây dựng một cỗ máy tiến hóa hợp tác giữa con người và máy móc. Người dùng, đóng vai trò là "nhà tối ưu hóa siêu cấp" ở lớp chiến lược, hướng dẫn hướng khám phá thông qua việc thiết kế nhanh chóng và cấu hình siêu tham số; trong khi các tác nhân tự động tạo ra một lượng lớn các cặp ưu tiên chất lượng cao trong cạnh tranh ở cấp độ vi mô. Mô hình này cho phép chú thích dữ liệu để đạt được một vòng lặp kinh doanh khép kín thông qua "tinh chỉnh không cần tin cậy".

So sánh các kiến trúc dự án Web3 sử dụng học tăng cường

V. Tóm tắt và Triển vọng: Các Lộ trình và Cơ hội cho Học tăng cường × Web3

Dựa trên phân tích cấu trúc các dự án tiên tiến đã đề cập ở trên, chúng tôi nhận thấy rằng mặc dù điểm xuất phát của mỗi nhóm (thuật toán, kỹ thuật hoặc thị trường) khác nhau, nhưng khi học tăng cường (RL) được kết hợp với Web3, logic kiến trúc cơ bản của chúng hội tụ thành một mô hình "tách rời-xác minh-khuyến khích" rất nhất quán. Đây không chỉ đơn thuần là sự trùng hợp kỹ thuật, mà là kết quả tất yếu của việc thích ứng các mạng phi tập trung với các đặc tính độc đáo của học tăng cường.

Các đặc điểm kiến trúc tổng quát của học tăng cường: giải quyết các ràng buộc vật lý cốt lõi và các vấn đề về độ tin cậy.

Tách rời quá trình triển khai và học tập – Cấu trúc tính toán được xác định trước

Quá trình triển khai song song, thưa thớt được thực hiện thông qua việc thuê ngoài cho các GPU cấp người tiêu dùng trên toàn thế giới, với các cập nhật tham số tần suất cao tập trung vào một số ít các nút huấn luyện, như đã thấy trong Actor-Learner bất đồng bộ của Prime Intellect và kiến trúc cụm kép của Gradient Echo.

Niềm tin dựa trên xác minh – Phát triển cơ sở hạ tầng

Trong các mạng không cần cấp phép, tính xác thực tính toán phải được đảm bảo thông qua thiết kế toán học và cơ học, thể hiện qua các phương pháp xác minh mật mã như PoL của Gensyn, TOPLOC của Prime Intellect và Grail.

Vòng lặp khuyến khích dựa trên mã thông báo – Tự điều chỉnh thị trường

Việc cung cấp sức mạnh tính toán, tạo dữ liệu, xác minh và xếp hạng, cũng như phân phối phần thưởng tạo thành một vòng khép kín. Bằng cách thúc đẩy sự tham gia thông qua phần thưởng và ngăn chặn gian lận thông qua hình phạt, mạng lưới có thể duy trì sự ổn định và tiếp tục phát triển trong một môi trường mở.

Các lộ trình công nghệ khác biệt: các "điểm đột phá" khác nhau trong một kiến trúc nhất quán.

Mặc dù có kiến trúc tương tự nhau, mỗi dự án đã lựa chọn những lợi thế công nghệ khác nhau dựa trên đặc điểm riêng của mình:

Nous Research, một nhóm tập trung vào các đột phá thuật toán, cố gắng giải quyết mâu thuẫn cơ bản (nút thắt băng thông) của huấn luyện phân tán từ góc độ toán học. Trình tối ưu hóa DisTrO của họ nhằm mục đích nén việc truyền tải gradient hàng nghìn lần, với mục tiêu cho phép huấn luyện mô hình lớn chạy ngay cả trên đường truyền băng thông rộng tại nhà – một "cuộc tấn công giảm chiều" nhằm chống lại các hạn chế vật lý.

Phương pháp kỹ thuật hệ thống (Prime Intellect, Gensyn, Gradient): Tập trung vào việc xây dựng các "hệ thống thời gian chạy AI" thế hệ tiếp theo. ShardCast của Prime Intellect và Parallax của Gradient được thiết kế để tối ưu hóa hiệu quả cụm máy tính không đồng nhất cao nhất trong điều kiện mạng hiện có thông qua các kỹ thuật kỹ thuật tiên tiến.

Lý thuyết trò chơi dựa trên thị trường (Bittensor, Fraction AI): Tập trung vào thiết kế các hàm thưởng. Thông qua các cơ chế tính điểm được thiết kế khéo léo, nó hướng dẫn người khai thác tự tìm ra các chiến lược tối ưu, từ đó đẩy nhanh sự hình thành trí tuệ nhân tạo.

Điểm mạnh, thách thức và triển vọng cuối cùng

Trong mô hình kết hợp học tăng cường với Web3, những ưu điểm của hệ thống phân cấp được thể hiện đầu tiên trong việc viết lại cấu trúc chi phí và cấu trúc quản trị.

Tái cấu trúc chi phí: Sau quá trình huấn luyện trong RL, nhu cầu lấy mẫu triển khai là không giới hạn, trong khi Web3 có thể huy động sức mạnh tính toán phân tán toàn cầu với chi phí cực thấp, một lợi thế về chi phí mà các nhà cung cấp dịch vụ đám mây tập trung không thể sánh kịp.

Sự đồng thuận chủ quyền: Phá vỡ thế độc quyền của các công ty lớn về giá trị AI (sự đồng thuận), cộng đồng có thể bỏ phiếu bằng token để quyết định "đâu là câu trả lời đúng" cho mô hình, từ đó dân chủ hóa quản trị AI.

Đồng thời, hệ thống này cũng phải đối mặt với hai hạn chế cấu trúc lớn.

Giới hạn băng thông: Mặc dù có những cải tiến như DisTrO, độ trễ vật lý vẫn hạn chế quá trình huấn luyện đầy đủ các mô hình tham số cực lớn (70 tỷ trở lên), và AI Web3 hiện tại chủ yếu chỉ giới hạn ở việc tinh chỉnh và suy luận.

Định luật Goodhard (Gian lận phần thưởng): Trong các mạng lưới có động lực cao, người khai thác có xu hướng "quá khớp" các quy tắc phần thưởng (kiếm điểm dễ dàng) thay vì cải thiện trí thông minh thực sự. Thiết kế một hàm phần thưởng mạnh mẽ để ngăn chặn gian lận là một cuộc chơi không ngừng nghỉ.

Các cuộc tấn công Byzantine độc hại: Những cuộc tấn công này làm gián đoạn sự hội tụ của mô hình bằng cách chủ động thao túng và làm sai lệch tín hiệu huấn luyện. Nguyên tắc cốt lõi không phải là liên tục thiết kế các hàm thưởng chống gian lận, mà là xây dựng một cơ chế mạnh mẽ và mang tính đối kháng.

Sự kết hợp giữa học tăng cường và Web3 về cơ bản đã viết lại cơ chế "cách thức trí tuệ được tạo ra, điều chỉnh và giá trị của nó được phân phối". Sự phát triển của nó có thể được tóm tắt thành ba hướng bổ sung cho nhau:

Mạng lưới huấn luyện đẩy phi tập trung: Từ các máy khai thác sức mạnh tính toán đến các mạng lưới chính sách, thuê ngoài việc triển khai song song và có thể kiểm chứng cho các GPU đuôi dài toàn cầu, tập trung vào thị trường suy luận có thể kiểm chứng trong ngắn hạn, và phát triển thành một mạng con học tăng cường để phân cụm tác vụ trong trung hạn;

Nâng tầm giá trị của sở thích và phần thưởng: Từ công việc gắn nhãn dữ liệu đến sự công bằng về dữ liệu. Điều này bao gồm việc nâng tầm giá trị của sở thích và phần thưởng, chuyển đổi phản hồi chất lượng cao và Mô hình Phần thưởng thành các tài sản dữ liệu có thể quản lý và phân phối được, nâng cấp "công việc gắn nhãn dữ liệu" thành "sự công bằng về dữ liệu".

Sự tiến hóa "nhỏ nhưng tuyệt vời" trong các lĩnh vực chuyên ngành: Trong các kịch bản chuyên ngành mà kết quả có thể kiểm chứng và lợi ích có thể định lượng, các tác nhân học tăng cường (RL Agent) nhỏ nhưng mạnh mẽ đang được phát triển, chẳng hạn như thực thi chiến lược DeFi và tạo mã, liên kết trực tiếp việc cải thiện chiến lược với việc thu được giá trị và được kỳ vọng sẽ vượt trội hơn các mô hình mã nguồn đóng thông thường.

Nhìn chung, cơ hội thực sự cho học tăng cường × Web3 không nằm ở việc sao chép một phiên bản phi tập trung của OpenAI, mà nằm ở việc viết lại "các mối quan hệ sản xuất thông minh": biến việc thực thi huấn luyện thành một thị trường sức mạnh tính toán mở, biến phần thưởng và sở thích thành tài sản trên chuỗi có thể quản lý được, và phân phối lại giá trị do trí tuệ mang lại không còn tập trung vào nền tảng, mà giữa các nhà huấn luyện, nhà điều chỉnh và người dùng.

Tuyên bố miễn trừ trách nhiệm: Bài viết này được viết với sự hỗ trợ của các công cụ AI ChatGPT-5 và Gemini 3. Tác giả đã nỗ lực hết sức để hiệu đính và đảm bảo thông tin trung thực và chính xác, nhưng vẫn không tránh khỏi sai sót. Chúng tôi xin lỗi vì bất kỳ sự bất tiện nào. Điều đặc biệt quan trọng cần lưu ý là thị trường tiền điện tử thường có sự khác biệt giữa các yếu tố cơ bản của dự án và hiệu suất giá trên thị trường thứ cấp. Bài viết này chỉ nhằm mục đích cung cấp thông tin và trao đổi học thuật/nghiên cứu và không cấu thành bất kỳ lời khuyên đầu tư nào, cũng không nên được coi là khuyến nghị mua hoặc bán bất kỳ token nào.