Ngã ba đường của trí tuệ nhân tạo: Tại sao Phố Wall lại nói "Không" với ChatGPT và Claude?

Tác giả: Jeff @IOSG

Tại sao cần có AI tư nhân?

Ngày 1 tháng 7, CEO của Palantir, Alex Karp, đã có một cuộc phỏng vấn dài 20 phút trên kênh CNBC, mà một số phương tiện truyền thông gọi là "sự suy sụp tinh thần". Theo Karp, các công ty đang trả một khoản phí tượng trưng cho các phòng thí nghiệm tiên tiến trong khi chứng kiến tài sản trí tuệ của chính họ bị rơi vào tay các nhà cung cấp mô hình. Ông gọi sự rò rỉ này là sự chuyển giao alpha, đang diễn ra ở cấp độ kiến trúc: mọi yêu cầu được gửi đến một mô hình mã nguồn đóng đều đến máy chủ của nhà cung cấp dịch vụ dưới dạng văn bản thuần túy. Chỉ vài ngày trước khi chương trình phát sóng, Palantir đã công bố hợp tác với NVIDIA để chạy các mô hình Nemotron mã nguồn mở trong môi trường do khách hàng kiểm soát, kèm theo tuyên bố chủ quyền AI gồm chín điểm. Sau khi chương trình CNBC phát sóng, cổ phiếu của PLTR đã tăng 8%.

Trong hai mươi năm qua, các công ty đã áp dụng phần mềm đám mây dựa trên sự tin tưởng ở cấp độ giao thức, và điều đó đã mang lại hiệu quả. Mỗi nhà cung cấp SaaS chỉ nhìn thấy một phần dữ liệu doanh nghiệp, và hầu hết đều không có nhiều động lực để đưa dữ liệu khách hàng trở lại sản phẩm cốt lõi của họ. Salesforce nhìn thấy các kênh bán hàng, Workday nhìn thấy nhân sự, Jira nhìn thấy các chu kỳ phát triển, và AWS cung cấp nền tảng lưu trữ và tính toán. Tuy nhiên, các quy trình làm việc AI hiện nay ủng hộ việc tải lên một lần tất cả các tài sản, cùng với ngữ cảnh có cấu trúc kết nối các bộ phận khác nhau, nhằm mục đích tối đa hóa năng suất. Bỏ qua yếu tố thiện chí, các nhà cung cấp dịch vụ thượng nguồn giờ đây có thể sử dụng dữ liệu này để phát triển các tính năng mới thay vì để nó nằm trên máy chủ và bị bỏ phí.

Không ai có dấu hiệu chậm lại; doanh thu hàng năm của Anthropic đã đạt 47 tỷ đô la vào tháng 5, một bước nhảy vọt đáng kể so với 9 tỷ đô la vào cuối năm 2025, trong khi OpenAI đã vượt qua 900 triệu người dùng hoạt động hàng tuần vào tháng 2. Cả hai công ty đều hoàn thành các vòng gọi vốn mới vào mùa xuân này, với định giá gần 1 nghìn tỷ đô la, và dự kiến sẽ IPO với mức định giá thậm chí còn cao hơn. Nhiều năm vướng vào các cáo buộc về quyền riêng tư và sở hữu trí tuệ đã không khiến cả hai công ty mất đà phát triển.

Một số công ty đã hành động. Vào tháng 2 năm 2023, chưa đầy ba tháng sau khi ChatGPT ra mắt, các ngân hàng lớn ở Phố Wall đã hạn chế việc sử dụng nó. Vào tháng 5 năm 2023, sau khi một kỹ sư của Samsung làm rò rỉ mã nguồn chip vào ChatGPT, công ty này đã cấm trí tuệ nhân tạo tạo sinh (generative AI) trên toàn mạng lưới của mình. Đáp lại, OpenAI đã ra mắt ChatGPT Enterprise vào tháng 8 cùng năm, cam kết không sử dụng dữ liệu thương mại để huấn luyện, cùng với giao thức không lưu giữ dữ liệu (ZDR), sau đó trở thành yêu cầu tiêu chuẩn cho việc mua sắm của doanh nghiệp.

Tuy nhiên, các hợp đồng chỉ ràng buộc các tài khoản của công ty. IBM phát hiện ra rằng đến năm 2025, AI ngầm (nhân viên cung cấp dữ liệu của công ty cho các công cụ AI trái phép thông qua tài khoản cá nhân) có liên quan đến một phần năm các vụ vi phạm dữ liệu, và việc sử dụng AI ngầm quá mức đã làm tăng thêm trung bình 670.000 đô la vào chi phí khắc phục vi phạm. Trong một cuộc khảo sát năm 2025 của công ty đào tạo an ninh Anagram, bốn nhân viên cho biết họ sẵn sàng vi phạm các chính sách sử dụng AI để hoàn thành nhiệm vụ nhanh hơn.

Các công ty ít nhất có thể bỏ tiền ra để "mua" quyền truy cập thông qua các hợp đồng ZDR và các cấp dịch vụ không liên quan đến đào tạo, và nếu bạn là chính phủ hoặc khách hàng của Palantir, sẽ có các tùy chọn triển khai độc lập. Tuy nhiên, đối với người dùng thông thường như bạn và tôi, tầm quan trọng của AI bảo mật vẫn còn gây tranh cãi cho đến khi có giấy triệu tập từ tòa án.

Một lệnh của tòa án vào tháng 5 năm 2025 đã buộc OpenAI phải giữ lại cả những nhật ký trò chuyện của người dùng mà họ đã xóa, và vào tháng 11, một thẩm phán đã ra lệnh chuyển giao 20 triệu nhật ký đó cho các luật sư của tờ The New York Times để làm bằng chứng. Sau đó là các vụ án hình sự: Hồ sơ ChatGPT từ bị cáo trong vụ đốt phá Palisades được đưa ra làm bằng chứng, và một bản khai trong vụ án giết người kép ở Florida đã trích dẫn các câu hỏi của nghi phạm về cách phi tang xác. Sam Altman cũng thừa nhận trong một cuộc phỏng vấn vào tháng 7 năm 2025 rằng các cuộc trò chuyện ChatGPT không được bảo vệ bởi đặc quyền pháp lý, và trong các vụ kiện tụng, OpenAI "có thể bị yêu cầu giao nộp" nhật ký trò chuyện của người dùng.

Vấn đề là không chỉ tội phạm mới cần những cuộc trò chuyện riêng tư. Việc lưu trữ và thu thập chứng cứ giữa các cuộc trò chuyện giữa người dùng và trí tuệ nhân tạo (AI) thể hiện một khía cạnh giám sát mà hầu hết người dùng không hề hay biết. Một cuộc khảo sát do Kolmogorov Law thực hiện vào tháng 10 năm 2025 với 1.000 người dùng AI tại Mỹ cho thấy 50% không biết rằng những cuộc trò chuyện này có thể bị thu thập chứng cứ, trong khi hai phần ba tin rằng những cuộc trò chuyện này nên được bảo vệ tương tự như các cuộc tư vấn với luật sư hoặc bác sĩ.

Các mô hình tự lưu trữ hoặc mã nguồn mở chạy trong môi trường có thể kiểm chứng đang nhanh chóng bắt kịp, nhưng nhóm mô hình mạnh nhất vẫn còn tụt hậu khoảng bốn tháng so với các mô hình mã nguồn đóng tiên tiến nhất về khả năng tổng thể. Điều này đặt các doanh nghiệp và cá nhân tham gia vào hoạt động tối ưu hóa token vào thế khó: hoặc hy sinh vài tháng chất lượng mô hình để đổi lấy sự riêng tư này, hoặc tiếp tục tải lên các tài liệu nhạy cảm lên máy chủ của Anthropic, trong khi các đối thủ cạnh tranh đang đạt được lợi thế về năng suất theo cách này.

Hiện tại, chưa có giải pháp hoàn hảo nào trên thị trường. Một báo cáo đã nêu bật những nỗ lực của nhiều bên nhằm thu hẹp khoảng cách này và nhận định xem trí tuệ nhân tạo tiên tiến với tính bảo mật được chứng minh còn cách bao xa mới có thể đến được với các doanh nghiệp và người dùng thông thường.

Hiện nay, quyền riêng tư được bảo vệ như thế nào?

Trí tuệ nhân tạo bảo mật không phải là một dự án duy nhất, nhưng mọi cơ chế hiện có trên thị trường đều giải quyết cùng một sự kiện: một yêu cầu được gửi đi từ thiết bị của bạn, truyền qua mạng, đến một máy đang chạy mô hình và sau đó trả về phản hồi. Sự khác biệt giữa các cơ chế nằm ở việc văn bản gốc tồn tại ở đâu trên con đường này, ai có thể đọc nó ở đó và điều gì được sử dụng để xác minh tính bảo mật của phản hồi.

Quyền riêng tư cấp độ giao thức

Ở cấp độ này, ngoài bạn ra, những người khác cũng có thể đọc được lời nhắc dạng văn bản thuần túy của bạn, và những gì xảy ra tiếp theo hoàn toàn phụ thuộc vào một lời hứa.

Mô hình không lưu giữ dữ liệu theo hợp đồng là giải pháp dành cho doanh nghiệp. Nhà cung cấp dịch vụ biết bạn là ai, xử lý yêu cầu của bạn và cam kết không lưu giữ dữ liệu đó, được thực thi bằng hợp đồng và uy tín.

Các máy chủ proxy ẩn danh xóa thông tin nhận dạng của bạn nhưng không mã hóa nội dung bạn đã nói; các nhà cung cấp dịch vụ hạ nguồn vẫn xử lý văn bản gốc theo chính sách riêng của họ. Điều khoản khác nhau tùy thuộc vào nhà cung cấp; ví dụ, Duck.ai (sản phẩm chatbot của DuckDuckGo) có thể đàm phán các thỏa thuận xóa dữ liệu với các nhà cung cấp mô hình, trong khi Venice giả định người dùng sẽ cho rằng nhà cung cấp dịch vụ sẽ giữ lại mọi thứ, nhưng cả hai bên đều không thể xác minh điều này.

Mọi phân đoạn của tuyến đường giữa các máy đều chạy trên TLS, chỉ mã hóa đường truyền; bên nhận có thể đọc tất cả thông tin. Các máy chủ chuyển tiếp thường sử dụng OHTTP (RFC 9458) để tách biệt quyền được biết này, hoạt động giống như một người bạn chuyền một mẩu giấy. Người bạn biết ai đã chuyền nhưng không thể đọc nội dung; người nhận có thể đọc nội dung nhưng không biết ai đã viết. OHTTP đã trở thành tiêu chuẩn IETF vào tháng 1 năm 2024, và nhiều công ty hiện đang chạy lưu lượng truy cập sản xuất trên các máy chủ chuyển tiếp OHTTP được thuê từ Cloudflare và Fastly.

Đây cũng là giới hạn về quyền riêng tư có thể đạt được khi truy cập các mô hình mã nguồn đóng, do một vấn đề toán học. Chi phí hiện tại cho việc đào tạo ở cấp độ hàng đầu lên đến hàng tỷ đô la, và giá trị gần nghìn tỷ đô la của các phòng thí nghiệm này dựa trên tính độc quyền của trọng số mô hình. Thời gian tồn tại của khoảng cách về khả năng mô hình quyết định thời gian của mức phí cao; do đó, các phòng thí nghiệm bảo vệ các tệp trọng số như bí mật quốc gia.

Meta đã âm thầm tiến hành thí nghiệm này. Mô hình LLaMA được phát hành vào tháng 2 năm 2023 ban đầu chỉ dành cho các nhà nghiên cứu, nhưng trong vòng một tuần, các trọng số đã bị rò rỉ lên 4chan dưới dạng mã nguồn gốc. Một tuần sau, llama.cpp cho phép mô hình 7B nhỏ nhất chạy cục bộ trên MacBook, và ba ngày sau, Stanford đã tinh chỉnh trợ lý trò chuyện Alpaca trên cùng mô hình đó với chi phí dưới 600 đô la. Vụ rò rỉ này đã giảm chi phí vận hành của Llama xuống chỉ còn tiền điện, cho phép bất kỳ ai có tệp tin đều có thể chạy nó tại nhà. Vào tháng 7 năm 2023, Meta chính thức công khai mã nguồn Llama 2 với giấy phép thương mại, trong đó loại trừ điều khoản dành cho 700 triệu người dùng hoạt động hàng tháng. Các trọng số đã được sử dụng, và phiên bản trả phí ra đời sau đó.

Về lý thuyết, các phòng thí nghiệm tiên tiến có thể cung cấp chứng thực (bằng chứng từ xa) cho suy luận trên các mô hình mã nguồn đóng, nhưng chứng thực chỉ có thể chứng minh đoạn mã nào đã đọc lời nhắc; nó không thể chứng minh đoạn mã đó đã làm gì với nó. Để xác định xem máy chủ có lưu giữ dữ liệu hay không, chúng ta cần kiểm tra mã máy chủ và tái tạo nó thành mã băm được báo cáo bởi phần cứng. Tuy nhiên, một khi mã máy chủ được chuyển giao, phòng thí nghiệm cũng từ bỏ các kỹ thuật xử lý hàng loạt và bộ nhớ đệm hỗ trợ lợi nhuận, và các kỹ thuật này sẽ được chuyển sang mọi thế hệ mô hình trong tương lai. Apple và Meta có thể cung cấp bằng chứng từ xa cho các ngăn xếp dịch vụ đằng sau iPhone và WhatsApp vì lợi nhuận của họ đến từ thiết bị và quảng cáo, và việc công khai mã dịch vụ hầu như không tốn chi phí.

Đây là lý do tại sao trọng số và mã dịch vụ của các mẫu sản phẩm chủ lực không đến được tay các nhà mạng bên ngoài. Không có nhà mạng bên ngoài, sẽ không có sự chứng thực của bên thứ ba; không có chứng thực, tính bảo mật có thể kiểm chứng chỉ tồn tại trên các mô hình mã nguồn mở.
 

Quyền riêng tư ở cấp độ cấu trúc

Mỗi cơ chế trong nhóm này đều thay thế các lời hứa về độ tin cậy bằng các bằng chứng phần cứng, mật mã hoặc vật lý, nhưng mỗi cơ chế lại phát sinh chi phí khác nhau cho việc nâng cấp quyền riêng tư, chủ yếu là vì chúng chỉ có thể chạy trên các mô hình mã nguồn mở.

TEE (Môi trường thực thi đáng tin cậy) Điện toán bảo mật thực hiện suy luận bên trong một vùng bảo mật phần cứng (một buồng kín trên chip mà ngay cả người vận hành máy cũng không thể mở); chip sẽ ký một bản xác nhận chi tiết về kiểu máy và đoạn mã nào đã được chạy.

Thông tin nhắc nhở chỉ được niêm phong tại điểm cuối. Vẫn còn một vai trò dọc theo đường dẫn được trung gian bởi máy chủ proxy có thể đọc văn bản gốc, và chỉ có giao thức mới ngăn máy chủ proxy ghi lại hoặc làm rò rỉ nội dung của máy chuyển tiếp.

Mã hóa đầu cuối (E2EE) niêm phong các đường truyền có thể đọc được. Thiết bị của người dùng mã hóa thông báo bằng khóa của vùng bảo mật, và mỗi chặng trung gian đều mang một gói tin được niêm phong mà chỉ vùng bảo mật mới có thể mở được.

Sự tin tưởng thuộc về phía máy khách. Mã chịu trách nhiệm mã hóa lời nhắc và xác minh chứng thực cũng có khả năng thu hồi sự đảm bảo này. Do đó, mã hóa đầu cuối có thể xác minh được yêu cầu cả một vùng bảo mật đã được chứng minh và mã máy khách mở, có thể tái tạo được.

So với sự đơn giản của TEE, chi phí của E2EE nằm ở gánh nặng kỹ thuật, điều này cũng làm chậm quá trình tích hợp chức năng. E2EE biến máy chủ proxy thành một người truyền tin mù, do đó tất cả các chức năng dựa vào việc đọc văn bản thuần túy phải được xây dựng lại xung quanh khóa của máy khách hoặc chỉ được tái cấu trúc nội bộ trong vùng bảo mật.

Mã hóa đồng hình hoàn toàn (FHE) và các biến thể MPC của nó loại bỏ hoàn toàn bên trung gian đáng tin cậy. Máy chủ thực hiện các phép tính trên bản mã trong một hộp khóa mà nó không bao giờ có thể mở được; khóa chỉ nằm trong tay bạn, trong khi MPC (Tính toán đa bên) chia yêu cầu thành các phần bí mật được phân phối cho nhiều bên, đạt được hiệu quả tương tự trừ khi tất cả những người tham gia thông đồng.

Cái giá phải trả là tốc độ. FHE về bản chất chỉ thực hiện phép cộng và phép nhân, do đó các bước phi tuyến tính cần thiết cho hoạt động của bộ chuyển đổi phải được tái tạo với chi phí rất cao. Chi phí suy luận trên bản mã cao gấp 10.000 đến 100.000 lần so với bản gốc, với mỗi token trên các mô hình nhỏ mất từ vài giây đến vài phút, trong khi ở điều kiện không mã hóa, chỉ mất vài mili giây.

Các chip được tùy chỉnh cho tính toán mã hóa dự kiến sẽ thu hẹp khoảng cách này, nhưng nguyên mẫu đầu tiên sẽ không hoàn thành bản demo cho đến đầu năm 2026, và các phiên bản thương mại sẽ cần thêm vài năm nữa.

Suy luận cục bộ loại bỏ trực tiếp đường dẫn này. Mô hình chạy trên phần cứng của riêng bạn, không cần bộ chuyển tiếp, máy chủ, nhà cung cấp dịch vụ và không yêu cầu xác minh.

Những nhược điểm rõ ràng nhất là chi phí và khả năng của mô hình. gpt-oss-120b đạt điểm bằng khoảng một nửa so với GLM-5.2 trên chỉ số Phân tích Nhân tạo, nhưng dung lượng của nó là 65GB, vượt quá tổng dung lượng VRAM của hai card đồ họa chơi game cao cấp nhất trên thị trường. Mô hình GLM-5.2 độ chính xác đầy đủ chỉ có thể chạy trên một trung tâm dữ liệu gồm 8 card, với chi phí hơn 300.000 đô la chỉ riêng cho GPU.

Tuy nhiên, ngoài những hạn chế về cấu trúc này, chi phí đưa quá trình suy luận vào các vùng bảo mật đang giảm dần. Trong suy luận trên một card đồ họa, các thử nghiệm của nhà cung cấp dịch vụ đám mây vùng bảo mật Phala cho thấy tổn thất thông lượng đối với chế độ vùng bảo mật H100 trung bình dưới 7%, và gần như bằng không đối với các mô hình lớn vì chi phí chính nằm ở việc chuyển dữ liệu vào chip, chứ không phải ở việc tính toán bên trong nó. Trong suy luận trên nhiều card đồ họa, GPU thế hệ tiếp theo Blackwell của NVIDIA hiện hỗ trợ mã hóa trực tiếp lưu lượng truy cập giữa các chip, trong khi H100 cũ hơn chỉ có thể đạt được hiệu quả tương tự bằng cách định tuyến qua máy chủ CPU với băng thông chỉ bằng một phần bảy. Các thử nghiệm của chính NVIDIA trên Blackwell cho thấy tổn thất thông lượng đối với mô hình 397B ở chế độ vùng bảo mật là dưới 8%. Với những tiến bộ này, tổn thất hiệu năng của suy luận bảo mật không còn là một hạn chế quyết định nữa.

Trên thực tế, bản thân vùng bảo mật (enclave) hầu như không làm tăng thêm chi phí vận hành cho nhà điều hành. Mọi thiết bị H100 sau năm 2023 đều đi kèm với chế độ vùng bảo mật, và chi phí bổ sung là do tổn thất thông lượng gây ra bởi mã hóa, chứ không phải do thêm chip. Hiện tại, giá thuê các SKU H100 bảo mật trên Azure vẫn là 8,90 đô la mỗi giờ, trong khi không có vùng bảo mật là 6,98 đô la, cao hơn 27% so với các dịch vụ đám mây truyền thống. Mặt khác, các nhà điều hành như Phala chuyên về vùng bảo mật đang cho thuê các thiết bị H100 ở chế độ bảo mật với giá khởi điểm từ 3,80 đô la mỗi giờ, thấp hơn mức giá từ 3,99 đô la đến 4,29 đô la cho các thẻ SXM tiêu chuẩn của Lambda. Trong các giải pháp API được lưu trữ, NEAR AI cung cấp các điểm cuối có chứng thực với giá 0,15 đô la cho mỗi triệu token đầu vào và 0,55 đô la cho đầu ra gpt-oss-120b, tương đương với các tuyến đường văn bản thuần túy trên Amazon Bedrock, Together và Groq. Ngay cả đối với các mô hình yêu cầu xử lý song song nhiều chip, giá của NEAR AI trên GLM 5.2 cũng tương đương với Fireworks, và trên Kimi K2.6 lớn hơn, đầu vào rẻ hơn 15% và đầu ra rẻ hơn 4%.

Mặc dù các nhà cung cấp giải pháp suy luận quyền riêng tư mới này có thể đang đốt lợi nhuận để giành thị phần (điều này áp dụng cho bất kỳ công ty nào trên thị trường đang muốn phát triển), xu hướng cấu trúc cho thấy chi phí bảo mật quyền riêng tư đang giảm đối với cả người tiêu dùng và nhà mạng.

Cách các mô hình mã nguồn mở giành chiến thắng

Mặc dù chi phí hiệu năng được giảm thiểu, vẫn tồn tại một khoảng cách rõ rệt giữa các mô hình tiên tiến nhất và các mô hình mã nguồn mở hiện đại nhất. Một tổ chức theo đuổi năng suất tối đa vẫn cần tin tưởng các phòng thí nghiệm tiên tiến sẽ không đánh cắp sở hữu trí tuệ của mình.

Khoảng cách vẫn còn tồn tại, nhưng AIA Labs thuộc Bridgewater và Thinking Machines đã đưa ra một trường hợp vào ngày 30 tháng 6: một mô hình mở được tinh chỉnh với các chú thích của chuyên gia đã đồng thời vượt trội hơn một mô hình tiên tiến về cả độ chính xác và chi phí.

Trong nghiên cứu này, nhóm nghiên cứu đã tinh chỉnh Qwen3-235B trên Tinker (dịch vụ API tinh chỉnh do Thinking Machines cung cấp). Đầu tiên, họ thu thập các chú thích từ nhà cung cấp, huấn luyện vòng đầu tiên với lô dữ liệu này, sau đó gửi các mẫu khác biệt trở lại cho bộ phận đầu tư của công ty để chú thích lại. Quá trình huấn luyện sử dụng học tăng cường (GRPO) cùng với ba sửa đổi: phân lô luân phiên (mỗi tác vụ lần lượt tạo ra một lô), hàm mất mát CISPO (giới hạn mức độ một câu trả lời duy nhất có thể kéo mô hình đi xa) và chưng cất theo chính sách (neo vào điểm kiểm tra tối ưu hiện tại để đảm bảo mô hình không học từ các bản sao yếu hơn).

Tất cả các nhiệm vụ đều được lấy từ quy trình làm việc hàng ngày của nhân viên đầu tư: liệu một bài báo có quan trọng đối với các chuyên gia đầu tư cấp cao hay không, liệu một tài liệu của ngân hàng trung ương có gợi ý về những thay đổi lãi suất trong tương lai hay không, và nên bắt đầu từ đâu với các cụm từ mẫu trong một tài liệu hoặc email. Điểm số được lấy từ một bộ dữ liệu thử nghiệm độc lập, với các mô hình tiên tiến đạt trung bình khoảng 50% trên các câu hỏi đơn giản và chỉ đạt 78,2% với các câu hỏi chuyên gia, thấp hơn ngưỡng 80% do nhân viên đầu tư đặt ra. Mô hình Qwen được tinh chỉnh đạt 84,7%, theo văn bản gốc, có nghĩa là nó mắc ít hơn 29,8% lỗi so với mô hình tối ưu tiên tiến, với chi phí suy luận thấp hơn 13,8 lần.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Trường hợp này chứng minh rằng các mô hình mã nguồn mở có thể thắng thế cả về độ chính xác và chi phí, nhưng quy trình huấn luyện vẫn không hoàn toàn riêng tư. Các chú thích của chuyên gia được sử dụng trong quy trình là dữ liệu độc quyền từ Bridgewater, được xử lý thông qua dịch vụ bên thứ ba của Tinker, đạt đến cùng mức độ tin cậy với giao thức ZDR. Quỹ này cũng thuê sức mạnh tính toán, và toàn bộ quá trình huấn luyện được thực hiện trên các máy mà họ không bao giờ kiểm soát. Những người mua muốn công thức này mà không cần giả định về sự tin cậy hiện nay có rất ít lựa chọn. Việc thuê các cụm GPU đơn lẻ giúp các nhà điều hành đám mây dễ dàng theo dõi quy trình huấn luyện. Mua một cụm máy chủ giải quyết được vấn đề lưu trữ dữ liệu, nhưng chi phí tăng vọt.

Giải pháp có xác thực vừa mới ra mắt. Vào tháng 3, Workshop Labs và Tinfoil đã phát hành Silo, một hệ thống xử lý hậu huấn luyện chạy trong môi trường biệt lập Tinfoil trên một nút 8 thẻ duy nhất, với các khóa được kiểm soát hoàn toàn bởi khách hàng. Bài báo cho biết chi phí môi trường biệt lập làm tăng thêm 11 phút cho một phiên huấn luyện kéo dài hai giờ, và hệ thống này có thể xử lý mô hình có hàng nghìn tỷ tham số (Kimi K2 Thinking) bằng cách đóng băng các trọng số cơ bản và chỉ huấn luyện các bộ điều hợp nhỏ trên đó. Thách thức nằm ở chỗ học tăng cường yêu cầu di chuyển dữ liệu qua lại giữa các thành phần, và việc di chuyển dữ liệu chính là nơi phát sinh chi phí môi trường biệt lập.

Chưa đầy một tháng sau khi Silo ra mắt, Workshop Labs đã được Thinking Machines mua lại, và tất cả các thành phần cần thiết để vận hành vòng lặp học tăng cường kiểu Bridgewater tiếp theo trong khu vực biệt lập giờ đây đều thuộc sở hữu của cùng một công ty.

Bảo mật ở lớp dây đai

Còn một vấn đề khác nằm ngoài tất cả các cơ chế suy luận riêng tư. Mỗi cơ chế này quản lý đường dẫn từ lời nhắc đến mô hình, trong khi mỗi lệnh gọi công cụ bên ngoài do tác nhân khởi tạo đều mở ra một tuyến đường mà lớp suy luận về cơ bản không thể can thiệp. Xu hướng kỹ thuật điều khiển gần đây càng làm trầm trọng thêm vấn đề; mọi công cụ, bộ nhớ lưu trữ và nguồn dữ liệu xung quanh mô hình đều là một đích đến khác đọc phần luồng công việc của nó dưới dạng văn bản thuần. Máy chủ lịch đọc lịch trình, máy chủ cơ sở dữ liệu đọc các truy vấn. Một tác nhân hoàn toàn cục bộ vẫn cần phải gửi các cụm từ tìm kiếm dưới dạng văn bản thuần đến công cụ tìm kiếm nếu muốn tìm bất cứ thứ gì nằm ngoài tập dữ liệu huấn luyện, vì máy chủ không thể đọc văn bản thuần và do đó không thể trả lời câu hỏi.

Các giải pháp phổ biến hiện nay vẫn mặc định sử dụng lớp giao thức. Các công ty như Runlayer và MintMCP sử dụng một cổng trung tâm để kiểm soát toàn bộ lưu lượng truy cập của các công cụ, che giấu thông tin nhận dạng cá nhân (PII) trước khi các yêu cầu được gửi đi. Cổng này cũng quyết định máy chủ nào có thể nhận lưu lượng truy cập, chặn những máy chủ chưa được kiểm duyệt và ghi lại đích đến cũng như nội dung của mỗi cuộc gọi để tham khảo trong tương lai. Ngay cả khi các biện pháp kiểm soát này được kiểm toán độc lập (SOC 2), các máy chủ công cụ vẫn cần đọc các truy vấn dạng văn bản thuần để phản hồi, và việc chúng có giữ lại bản sao hay không phụ thuộc vào chính sách lưu giữ của riêng chúng, được nhân lên bởi mỗi công cụ trong hệ thống. Hơn nữa, bản thân cổng là một bên đọc bổ sung phụ thuộc vào sự tin tưởng dọc theo đường dẫn, chứ không phải là xác minh.

Các giải pháp ở cấp độ cấu trúc nhắm vào lớp trung gian đó. Ví dụ, Phala trực tiếp lưu trữ máy chủ MCP bên trong TEE, bao gồm ví điện tử, thực thi mã và nguồn dữ liệu, cho phép người dùng xác minh các tuyên bố về quyền riêng tư bằng chứng thực thay vì tin tưởng vào nhà điều hành. Tuy nhiên, các công cụ được lưu trữ trong TEE vẫn cần gửi các truy vấn dưới dạng văn bản thuần túy đến các nhà cung cấp dịch vụ; vùng bảo mật chỉ niêm phong người gửi chứ không phải đích đến.

Chỉ một vài hệ thống đã học được cách phản hồi mà không cần đọc thông tin, nhưng chỉ áp dụng cho các truy vấn có cấu trúc. Apple cung cấp tính năng truy xuất thông tin riêng tư cho iPhone, cho phép so khớp số điện thoại người gọi với cơ sở dữ liệu cuộc gọi rác mà không làm lộ số điện thoại, và Microsoft sử dụng cùng một phương pháp cho mật khẩu trong trình duyệt Edge. Mã hóa có thể truy vấn của MongoDB cho phép các máy khách mã hóa các trường trước khi chúng được gửi đi, cho phép máy chủ thực hiện so khớp bằng nhau và so khớp phạm vi chỉ dựa trên văn bản mã hóa.

Tuy nhiên, đối với các tìm kiếm không giới hạn, câu trả lời tốt nhất hiện nay vẫn dựa vào sự tin tưởng; tìm kiếm mã hóa có thể kiểm chứng vẫn chưa thực sự xuất hiện từ phòng thí nghiệm. Brave hứa hẹn không lưu trữ dữ liệu nào trên chỉ mục 40 tỷ trang của riêng mình (thay vì của Google), nhưng nó vẫn nằm ở lớp giao thức. Exa đã xây dựng một chỉ mục thần kinh nhúng từ khóa của người dùng theo ngữ nghĩa, khớp kết quả dựa trên ngữ nghĩa, nhưng bước nhúng này vẫn bắt đầu từ văn bản thuần trên máy chủ của Exa. Bài báo Tiptoe năm 2023 của MIT đã đạt được thứ hạng trên 360 triệu trang web mà không làm lộ truy vấn, nhưng mỗi tìm kiếm tiêu tốn một lượng đáng kể sức mạnh tính toán của máy chủ, và chất lượng xếp hạng khác với các tìm kiếm không mã hóa. Bài báo Wally năm 2024 của Apple giảm chi phí liên lạc lên đến 31 lần bằng cách ẩn các truy vấn thực sự giữa các truy vấn giả, nhưng phép toán này chỉ trở nên rẻ khi có hàng triệu truy vấn đồng thời, một quy mô mà hiện tại không có hệ thống tìm kiếm riêng tư nào đạt được.

Tìm kiếm mã hóa là khả thi; chỉ là nó chưa đạt đến mức độ khả thi về mặt thương mại xét về hiệu suất và giá cả.

Triển vọng

Nhu cầu về AI riêng tư đang ngày càng tăng. Venice AI gần đây đã vượt qua 3,5 triệu người dùng đăng ký và đạt sản lượng hàng tháng là 1,3 nghìn tỷ token, sau đó hoàn thành vòng gọi vốn Series A trị giá 1 tỷ đô la. Proton là đối thủ cạnh tranh trực tiếp của họ, với sản phẩm trò chuyện Lumo đã vượt quá 10 triệu người dùng chỉ trong vòng một năm kể từ khi ra mắt. Về cơ sở hạ tầng, Phala hiện đang xử lý từ 2 đến 3 tỷ token mỗi ngày trên OpenRouter. Duck.ai định tuyến gpt-oss-120b và Gemma vào vùng bảo mật của Tinfoil, cung cấp khả năng bảo mật có thể kiểm chứng vượt xa các máy chủ proxy của người dùng. Điều này thậm chí còn chưa tính đến việc tự lưu trữ, có lẽ là kênh lớn nhất cho suy luận riêng tư, vì các mô hình chạy trên phần cứng của riêng người dùng, không để lại dấu vết sử dụng.

Tuy nhiên, trong làn sóng AI chính thống rộng lớn hơn, AI bảo mật chỉ chiếm một phần nhỏ, và khoảng cách này sẽ chỉ được thu hẹp khi các phòng thí nghiệm tiên tiến chủ động đáp ứng nhu cầu này. Vào tháng 5, Google đã xử lý 320 nghìn tỷ token trên tất cả các sản phẩm của mình, có nghĩa là thông lượng hàng tháng của Venice tương đương với khoảng 18 phút của Google. Tháng 11 năm ngoái, Google đã ra mắt Private AI Compute (PAC), chạy một số tính năng do Gemini điều khiển trong các vùng TPU kín được cách ly khỏi chính công ty, với thiết kế được kiểm toán độc lập bởi NCC Group. Tuy nhiên, vấn đề là PAC chỉ bao gồm một vài tính năng của Pixel như đề xuất cá nhân hóa và tóm tắt âm thanh, chứ không phải các ứng dụng Gemini được hàng trăm triệu người sử dụng. Google sẵn sàng giao thiết kế cho các nhà kiểm toán vì các tính năng này kiếm tiền thông qua thiết bị và quảng cáo, chứ không phải bằng cách bán token.

Các giải pháp lưu trữ hiện tại cũng chưa hoàn hảo. Người dùng tìm kiếm mức độ bảo mật cao nhất thông qua mã hóa đầu cuối (E2EE) phải chờ đợi các tính năng mới được xây dựng lại ở những nơi mà nhà cung cấp dịch vụ không thể đọc được. Các hệ thống bảo mật riêng tư vẫn dựa vào các giao thức ở lớp dịch vụ. Việc đào tạo sau khóa học với mức giá hợp lý vẫn đòi hỏi phải tin tưởng vào các nhà cung cấp bên thứ ba để đạt được kết quả tinh chỉnh tốt nhất. Tự lưu trữ loại bỏ hoàn toàn tất cả các nhà cung cấp dịch vụ, nhưng việc vận hành các mô hình mã nguồn mở mạnh nhất tại chỗ có thể tốn kém hơn cả chi phí xây dựng tòa nhà chứa chúng.

Bỏ qua những thiếu sót, AI riêng tư đã trở thành một lựa chọn khả thi và giá cả phải chăng, và những khoảng cách còn lại đang thu hẹp. Đối với người tiêu dùng thông thường, các cuộc trò chuyện riêng tư theo mô hình mở trên Lumo và Venice với cam kết không lưu nhật ký là hoàn toàn miễn phí, trong khi các gói đăng ký từ Venice hoặc Tinfoil với giá từ 18 đến 20 đô la Mỹ sẽ mã hóa các cuộc trò chuyện tương tự trong các vùng bảo mật, không đắt hơn gói đăng ký ChatGPT. Đối với quy trình làm việc của doanh nghiệp, các điểm cuối có xác thực hiện thậm chí còn rẻ hơn so với các tuyến đường văn bản thuần túy. Các điểm cuối như API E2EE của NEAR hiện có thể đưa ngữ cảnh được mã hóa vào các vùng bảo mật, với bộ nhớ, tải lên tệp và các hướng dẫn tùy chỉnh hoạt động trên nền tảng E2EE hiện nay. Về việc huấn luyện sau với xác thực, Vera Rubin NVL72 sắp ra mắt của NVIDIA sẽ mở rộng khả năng tính toán bảo mật từ các nút 8 card của Blackwell lên các giá đỡ 72 card, giúp các vòng lặp RL tiên tiến trở nên khả thi hơn mà không làm lộ sở hữu trí tuệ.

Tuy nhiên, giá trị cốt lõi nằm ở việc vượt ra ngoài mức giảm giá này. Quyền riêng tư gần như miễn phí ở những nơi nó đã tồn tại, nhưng nó chưa bao phủ các quy trình làm việc chính thống của tác nhân. Các nhà điều hành tập trung vào việc cho thuê và bán các vùng bảo mật (enclave) nắm giữ một công tắc trên các chip tiêu chuẩn, chứ không phải là một rào cản, trong khi các cổng lớp giao thức cạnh tranh cùng với các phần mềm trung gian truyền thống. Lãnh thổ có thể phòng thủ là một nửa báo cáo vẫn chưa được giải quyết: các vòng lặp huấn luyện bị khóa trong các vùng bảo mật, các cuộc gọi công cụ được niêm phong từ đầu đến cuối và các chỉ mục tìm kiếm thuật ngữ ẩn. Bất cứ ai hoàn thành một trong những điều này đầu tiên sẽ bán được thứ gì đó không thể bị thương mại hóa bởi bất kỳ cuộc chiến giá cả nào. Vốn đầu tư theo đuổi AI về quyền riêng tư nên mua lại những khoảng trống, chứ không phải là công tắc đó.

Vậy, nên tin tưởng hay xác minh? Đối với các tác vụ đòi hỏi nhiều thao tác và tác nhân, hãy chọn tin tưởng, bởi vì mỗi lệnh gọi công cụ đều cung cấp văn bản thuần túy đến các đích mà các vùng bảo mật không thể niêm phong, và các mô hình tiên tiến xứng đáng với giá thành của chúng trong những vòng lặp như vậy. Còn đối với tư duy cấp cao giúp phân biệt một công ty với các đối thủ cạnh tranh, hãy chọn xác minh. Chiến lược, kế hoạch và những phán đoán được chắt lọc từ nhiều năm kinh nghiệm chuyên môn chính là lợi thế cạnh tranh đang được tranh giành. Con đường phía trước là tinh chỉnh các mô hình mã nguồn mở với những hiểu biết độc quyền này trong phạm vi kiểm soát của công ty. Trong các lĩnh vực mà lợi thế cạnh tranh của một công ty tồn tại, các mô hình mở được tinh chỉnh bởi chuyên gia đã đồng thời vượt trội hơn các mô hình tiên tiến về độ chính xác và chi phí, và cơ sở hạ tầng để xây dựng chúng trong môi trường bảo mật đang được xây dựng từng bước một.