Die Schnittstelle der KI: Warum die Wall Street zu ChatGPT und Claude „Nein“ sagt?

Autor: Jeff @IOSG

Warum private KI benötigt wird

Am 1. Juli gab Palantir-CEO Alex Karp CNBC ein 20-minütiges Interview, das von einigen Medien als „psychischer Zusammenbruch“ bezeichnet wurde. Laut Karp zahlen Unternehmen einen symbolischen Aufpreis an hochmoderne Labore, während sie zusehen, wie ihr eigenes geistiges Eigentum an Modellanbieter abfließt. Er bezeichnete diesen Informationsverlust als Alpha-Transfer, der auf Architekturebene stattfindet: Jede Anfrage an ein proprietäres Modell erreicht den Server des Dienstanbieters im Klartext. Nur wenige Tage vor der Ausstrahlung hatte Palantir eine Partnerschaft mit NVIDIA angekündigt, um offene Nemotron-Modelle in kundenkontrollierten Umgebungen auszuführen, begleitet von einer neun Punkte umfassenden Erklärung zur KI-Souveränität. Nach der CNBC-Sendung stieg die PLTR-Aktie um 8 %.

Seit zwanzig Jahren setzen Unternehmen auf Cloud-Software, die auf Vertrauen auf Protokollebene basiert – und das mit Erfolg. Jeder SaaS-Anbieter sieht nur einen Teil der Unternehmensdaten, und die meisten haben wenig Anreiz, Kundendaten in ihre Kernprodukte zurückzuspeisen. Salesforce sieht Vertriebskanäle, Workday HR-Daten, Jira Entwicklungsiterationen, und AWS stellt die Grundlage für Speicherung und Rechenleistung bereit. Moderne KI-Workflows fordern jedoch den einmaligen Upload aller Assets inklusive des strukturierten Kontexts, der verschiedene Abteilungen verbindet, um die Produktivität zu maximieren. Unabhängig vom guten Willen können Upstream-Dienstleister diese Daten nun nutzen, um neue Funktionen zu entwickeln, anstatt sie ungenutzt auf Servern verstauben zu lassen.

Keiner der beiden Firmen lässt nach: Anthropics Jahresumsatz erreichte im Mai 47 Milliarden US-Dollar – ein deutlicher Anstieg gegenüber den prognostizierten 9 Milliarden US-Dollar Ende 2025. OpenAI überschritt im Februar die Marke von 900 Millionen wöchentlich aktiven Nutzern. Beide Unternehmen schlossen im Frühjahr neue Finanzierungsrunden mit Bewertungen von fast einer Billion US-Dollar ab und werden voraussichtlich mit noch höheren Bewertungen an die Börse gehen. Jahrelange Vorwürfe wegen Datenschutzverletzungen und Urheberrechtsverletzungen haben beide Unternehmen nicht ausgebremst.

Einige Unternehmen haben bereits Maßnahmen ergriffen. Im Februar 2023, weniger als drei Monate nach dem Start von ChatGPT, schränkten große Wall-Street-Banken dessen Nutzung ein. Nachdem ein Samsung-Ingenieur im Mai 2023 den Quellcode eines Chips in ChatGPT eingeschleust hatte, verbot das Unternehmen generative KI in seinem gesamten Netzwerk. Als Reaktion darauf brachte OpenAI im August desselben Jahres ChatGPT Enterprise auf den Markt und versprach, keine kommerziellen Daten für das Training zu verwenden. Zudem wurde ein Zero-Data-Retention-Protokoll (ZDR) eingeführt, das sich später zu einer Standardanforderung für die Unternehmensbeschaffung entwickelte.

Verträge sichern jedoch nur Firmenkonten. IBM stellte fest, dass bis 2025 Schatten-KI (Mitarbeiter, die Firmendaten über private Konten in unautorisierte KI-Tools einspeisen) an einem Fünftel aller Datenschutzverletzungen beteiligt sein wird und der intensive Einsatz von Schatten-KI die Kosten von Datenschutzverletzungen um durchschnittlich 670.000 US-Dollar erhöht. In einer Umfrage des Sicherheitsschulungsunternehmens Anagram aus dem Jahr 2025 gaben vier Mitarbeiter an, bereit zu sein, gegen die Richtlinien zur KI-Nutzung zu verstoßen, um Aufgaben schneller zu erledigen.

Unternehmen können sich zumindest finanziell freikaufen, beispielsweise durch ZDR-Verträge und Servicepakete ohne Schulungsleistungen. Für Regierungen oder Palantir-Kunden gibt es zudem Optionen für die uneingeschränkte Implementierung. Für normale Nutzer wie uns bleibt die Bedeutung von datenschutzorientierter KI jedoch weiterhin umstritten, bis eine gerichtliche Vorladung eintrifft.

Ein Gerichtsbeschluss vom Mai 2025 zwang OpenAI, selbst gelöschte Chatprotokolle von Nutzern aufzubewahren. Im November desselben Jahres ordnete ein Richter die Herausgabe von 20 Millionen dieser Protokolle an die Anwälte der New York Times als Beweismittel an. Es folgten Strafverfahren: ChatGPT-Aufzeichnungen des Angeklagten im Brandstiftungsfall von Palisades wurden als Beweismittel zugelassen, und in einer eidesstattlichen Erklärung in einem Doppelmordfall in Florida wurden die Fragen des Verdächtigen zur Leichenbeseitigung erwähnt. Sam Altman räumte in einem Interview im Juli 2025 zudem ein, dass ChatGPT-Konversationen nicht dem Anwaltsgeheimnis unterliegen und OpenAI im Falle eines Rechtsstreits möglicherweise zur Herausgabe von Nutzer-Chatprotokollen verpflichtet sei.

Der springende Punkt ist, dass nicht nur Kriminelle private Gespräche benötigen. Die Archivierung und die Möglichkeit der gerichtlichen Beschlagnahme von Gesprächen zwischen Menschen und KI stellen einen Überwachungsaspekt dar, der den meisten Nutzern nicht bewusst ist. Eine Umfrage von Kolmogorov Law unter 1.000 amerikanischen KI-Nutzern im Oktober 2025 ergab, dass 50 % nicht wussten, dass diese Gespräche gerichtlich beschlagnahmt werden können, während zwei Drittel der Meinung waren, dass diese Chats denselben Schutz genießen sollten wie Beratungen mit Anwälten oder Ärzten.

Selbstgehostete oder Open-Source-Modelle, die in verifizierbaren Umgebungen laufen, holen schnell auf, doch die leistungsstärksten Modelle hinken in ihren allgemeinen Funktionen immer noch etwa vier Monate hinter den neuesten Closed-Source-Modellen her. Dies stellt Unternehmen und Einzelpersonen, die Token-Maxing betreiben, vor ein Dilemma: Entweder sie opfern einige Monate Modellqualität für mehr Datenschutz oder sie laden weiterhin sensible Daten auf die Server von Anthropic hoch, während die Konkurrenz dadurch Produktivitätsvorteile erzielt.

Derzeit gibt es keine perfekten Lösungen auf dem Markt. Ein Bericht beschreibt die Bemühungen verschiedener Akteure, diese Lücke zu schließen, und untersucht, wie weit es noch von der Bereitstellung modernster, datenschutzkonformer Technologien für Unternehmen und Endnutzer entfernt ist.

Wie Datenschutz derzeit erreicht wird

Privacy AI ist kein einzelnes Projekt, sondern alle derzeit auf dem Markt befindlichen Mechanismen befassen sich mit demselben Vorgang: Eine Anfrage verlässt Ihr Gerät, durchläuft das Netzwerk, erreicht einen Rechner, auf dem das Modell ausgeführt wird, und sendet eine Antwort zurück. Der Unterschied zwischen den Mechanismen liegt darin, wo entlang dieses Weges Klartext vorhanden ist, wer ihn dort lesen kann und wie die Vertraulichkeit der Antwort überprüft wird.

Datenschutz auf Protokollebene

Auf dieser Ebene können außer Ihnen auch andere Ihre Klartext-Aufforderung lesen, und was dann geschieht, hängt vollständig von einem Versprechen ab.

Vertraglich vereinbarte Datenspeicherungsfreiheit ist die Lösung für Unternehmen. Der Dienstleister kennt Ihre Identität, bearbeitet Ihre Eingabeaufforderung und verpflichtet sich vertraglich und aufgrund seines guten Rufs, diese nicht einzubehalten.

Anonyme Proxys löschen Ihre Identität, verschlüsseln aber nicht Ihre Kommunikation. Die nachgelagerten Dienstanbieter verarbeiten Klartext weiterhin gemäß ihren eigenen Richtlinien. Die Bedingungen variieren je nach Anbieter; beispielsweise kann Duck.ai (das Chatbot-Produkt von DuckDuckGo) Löschvereinbarungen mit Modellanbietern aushandeln, während Venice davon ausgeht, dass die Nutzer erwarten, dass der Dienstanbieter alle Daten speichert – eine Überprüfung ist jedoch nicht möglich.

Jeder Abschnitt der Route zwischen Rechnern läuft über TLS, das lediglich die Datenübertragung verschlüsselt; der Empfänger kann alle Informationen lesen. Relays verwenden typischerweise Oblivious HTTP (RFC 9458), um dieses Informationsrecht zu trennen, ähnlich wie ein Freund, der sich eine Nachricht zusteckt. Der Freund weiß, wer sie geschickt hat, kann aber den Inhalt nicht lesen; der Empfänger kann den Inhalt lesen, weiß aber nicht, wer sie geschrieben hat. OHTTP wurde im Januar 2024 zum IETF-Standard, und viele Unternehmen betreiben ihren Produktivverkehr mittlerweile über OHTTP-Relays, die sie von Anbietern wie Cloudflare und Fastly mieten.

Dies ist aufgrund eines mathematischen Problems auch die Grenze des Datenschutzes, die beim Zugriff auf proprietäre Modelle erreicht werden kann. Die aktuellen Kosten für Spitzentrainings belaufen sich auf Milliarden, und die fast Billionen Dollar umfassende Bewertung dieser Labore basiert auf der Exklusivität der Modellgewichte. Die Dauer der Modelllücke bestimmt die Dauer des Aufschlags; daher behandeln die Labore die Gewichtsdateien wie Staatsgeheimnisse.

Meta hat dieses Experiment passiv durchgeführt. Das im Februar 2023 veröffentlichte LLaMA-Modell war zunächst nur Forschern zugänglich, doch innerhalb einer Woche gelangten die Gewichte als Seed-Datei auf 4chan in die Umlaufbahn. Eine Woche später ermöglichte llama.cpp die lokale Ausführung des kleinsten 7-Byte-Modells auf einem MacBook, und drei Tage später optimierte Stanford den Chat-Assistenten Alpaca auf Basis desselben Modells für unter 600 US-Dollar. Durch dieses Leck reduzierten sich die Betriebskosten von Llama auf den Stromverbrauch, sodass jeder, der die Datei besaß, das Programm zu Hause ausführen konnte. Im Juli 2023 veröffentlichte Meta Llama 2 offiziell als Open Source mit einer kommerziellen Lizenz, die eine Klausel für 700 Millionen monatlich aktive Nutzer ausschloss. Die Gewichte liefen, und die Premium-Version folgte.

Theoretisch könnten hochmoderne Labore Attestierungen (Remote-Beweise) für Inferenz auf Closed-Source-Modellen liefern. Eine Attestierung kann jedoch nur beweisen, welcher Codeabschnitt die Eingabeaufforderung gelesen hat; sie kann nicht beweisen, was dieser Code damit gemacht hat. Um festzustellen, ob der Server Daten gespeichert hat, müssen wir den Servercode prüfen und ihn anhand des von der Hardware gemeldeten Hashwerts rekonstruieren. Sobald der Servercode jedoch übergeben wird, gibt das Labor auch die Batch-Verarbeitungs- und Caching-Techniken auf, die die Gewinnmargen sichern. Diese Techniken werden in jede zukünftige Modellgeneration übernommen. Apple und Meta können Remote-Beweise für die Service-Stacks hinter iPhone und WhatsApp liefern, da ihre Gewinne aus Geräten und Werbung stammen und die öffentliche Offenlegung des Servicecodes nahezu keine Kosten verursacht.

Deshalb gelangen die Gewichtungen und der Servicecode von Vorzeigemodellen nicht an externe Betreiber. Ohne externe Betreiber gibt es keine Drittanbieter-Zertifizierung; ohne Zertifizierung existiert verifizierbarer Datenschutz nur bei Open-Source-Modellen.
 

Datenschutz auf struktureller Ebene

Jeder Mechanismus dieser Kategorie ersetzt Vertrauensversprechen durch Hardware-, kryptografische oder physische Beweise, verursacht aber jeweils unterschiedliche Kosten für Datenschutzverbesserungen, vor allem weil sie nur Open-Source-Modelle ausführen können.

Bei TEE (Trusted Execution Environment) Confidential Computing wird die Inferenz innerhalb einer Hardware-Enklave (einer versiegelten Kammer auf dem Chip, die selbst der Maschinenbediener nicht öffnen kann) durchgeführt; der Chip signiert eine Bescheinigung, die detailliert angibt, welches Modell und welches Codesegment ausgeführt wurde.

Die Eingabeaufforderung wird erst am Endpunkt versiegelt. Entlang des vom Proxy vermittelten Pfades gibt es weiterhin eine Instanz, die Klartext lesen kann, und nur das Protokoll verhindert, dass der Proxy den Inhalt des Relays aufzeichnet oder weitergibt.

Die Ende-zu-Ende-Verschlüsselung (E2EE) verhindert das Auslesen der Übertragungswege. Das Gerät des Benutzers verschlüsselt die Eingabeaufforderung mit dem Schlüssel der Enklave, und jeder Zwischenschritt überträgt einen versiegelten Umschlag, den nur die Enklave öffnen kann.

Das Vertrauen liegt beim Client. Der Code, der für die Verschlüsselung der Eingabeaufforderung und die Überprüfung der Bestätigung zuständig ist, kann diese Garantie auch widerrufen. Daher erfordert verifizierbare Ende-zu-Ende-Verschlüsselung sowohl eine bewährte Sicherheitsumgebung als auch offenen, reproduzierbaren Client-Code.

Im Vergleich zur Einfachheit von TEE liegt der Kostenaufwand bei E2EE im höheren Entwicklungsaufwand, der auch die funktionale Integration verlangsamt. E2EE macht den Proxy zu einem undurchsichtigen Vermittler, sodass alle Funktionen, die auf das Lesen von Klartext angewiesen sind, entweder mithilfe des Client-Schlüssels neu implementiert oder nur intern innerhalb der Enklave rekonstruiert werden müssen.

Bei der vollständig homomorphen Verschlüsselung (FHE) und ihren MPC-Varianten wird die Vertrauensperson vollständig entfernt. Der Server führt Berechnungen mit dem Chiffretext in einem verschlossenen System durch, das er niemals öffnen kann; der Schlüssel befindet sich ausschließlich in Ihrem Besitz. Die Mehrparteienberechnung (MPC) hingegen teilt die Eingabeaufforderung in geheime Anteile auf, die unter mehreren Parteien verteilt werden. Dadurch wird der gleiche Effekt erzielt, es sei denn, alle Teilnehmer verschwören sich.

Der Preis dafür ist die Geschwindigkeit. FHE führt nativ nur Addition und Multiplikation durch, daher müssen die für den Transformatorbetrieb erforderlichen nichtlinearen Schritte mit hohem Aufwand rekonstruiert werden. Die Inferenzkosten für Chiffretext sind 10.000- bis 100.000-mal so hoch wie für Klartext, wobei jedes Token bei kleinen Modellen Sekunden bis Minuten benötigt, während es unter unverschlüsselten Bedingungen nur Millisekunden dauert.

Es wird erwartet, dass speziell für verschlüsselte Berechnungen entwickelte Chips die Lücke verringern werden, aber der erste Prototyp wird seine Demonstration erst Anfang 2026 abschließen, und kommerzielle Versionen werden noch einige Jahre auf sich warten lassen.

Lokale Inferenz eliminiert diesen Umweg direkt. Das Modell läuft auf Ihrer eigenen Hardware, ohne Relay, Server, Dienstanbieter und ohne Verifizierungsanforderungen.

Die offensichtlichen Kostenfaktoren sind der Aufwand und die eingeschränkte Modellleistung. GPT-OSS-120B erreicht im KI-Index etwa die Hälfte der Leistung von GLM-5.2, verfügt aber über 65 GB VRAM und übertrifft damit den kombinierten VRAM zweier aktueller Top-Grafikkarten für Gaming. Das hochpräzise GLM-5.2 kann nur in einem Rechenzentrum mit acht Grafikkarten betrieben werden, deren GPUs allein über 300.000 US-Dollar kosten.

Abgesehen von diesen strukturellen Einschränkungen sinken die Kosten für die Inferenz in Enklaven. Benchmarks des Enklaven-Cloud-Service-Anbieters Phala zeigen, dass der Durchsatzverlust im Enklavenmodus H100 bei Single-Card-Inferenz durchschnittlich unter 7 % liegt und bei großen Modellen nahezu null ist, da die Hauptkosten im Datentransfer zum Chip und nicht in der internen Datenverarbeitung entstehen. Bei Multi-Card-Inferenz unterstützt NVIDIAs GPU der nächsten Generation, Blackwell, nun die direkte Verschlüsselung des Datenverkehrs zwischen den Chips, während der ältere H100 denselben Effekt nur durch Weiterleitung über die Host-CPU mit einem Siebtel der Bandbreite erzielen kann. NVIDIAs eigene Benchmarks für Blackwell zeigen, dass der Durchsatzverlust für ein 397B-Modell im Enklavenmodus unter 8 % liegt. Dank dieser Fortschritte ist der Leistungsverlust bei datenschutzfreundlicher Inferenz kein entscheidender Faktor mehr.

Tatsächlich verursacht die Enklave selbst kaum zusätzliche Betriebskosten für den Betreiber. Jede H100 ab 2023 verfügt über den Enklavenmodus, und die zusätzlichen Kosten entstehen durch den Durchsatzverlust aufgrund der Verschlüsselung, nicht durch zusätzliche Chips. Aktuell beträgt der Mietpreis für vertrauliche H100-SKUs auf Azure noch 8,90 US-Dollar pro Stunde, während er ohne Enklave 6,98 US-Dollar beträgt – ein Aufschlag von 27 % gegenüber herkömmlichen Cloud-Ressourcen. Betreiber wie Phala, die sich auf Enklaven spezialisiert haben, vermieten H100-Geräte im vertraulichen Modus hingegen bereits ab 3,80 US-Dollar pro Stunde. Dies liegt unter dem Preisbereich von 3,99 bis 4,29 US-Dollar für die Standard-SXM-Karten von Lambda. Im Bereich gehosteter API-Lösungen bietet NEAR AI Endpunkte mit Attestierung für 0,15 US-Dollar pro Million eingehender Token und 0,55 US-Dollar pro ausgehender Token für gpt-oss-120b an. Diese Kosten sind vergleichbar mit Klartextrouten auf Amazon Bedrock, Together und Groq. Selbst bei Modellen, die Multi-Chip-Parallelität erfordern, ist die Preisgestaltung von NEAR AI auf GLM 5.2 identisch mit der von Fireworks, und auf dem größeren Kimi K2.6 sind die Eingaben 15 % günstiger und die Ausgaben 4 % günstiger.

Auch wenn diese neuen Anbieter von Datenschutzdienstleistungen möglicherweise Gewinne einbüßen, um Marktanteile zu gewinnen (dies gilt für jedes Unternehmen auf dem Markt, das wachsen will), ist der strukturelle Trend, dass die Kosten für Datenschutz sowohl für Verbraucher als auch für Betreiber sinken.

Wie Open-Source-Modelle gewinnen

Trotz der reduzierten Leistungskosten besteht weiterhin eine deutliche Lücke zwischen modernsten Modellen und State-of-the-Art-Open-Source-Modellen. Unternehmen, die maximale Produktivität anstreben, müssen daher darauf vertrauen können, dass innovative Forschungseinrichtungen ihr geistiges Eigentum nicht stehlen.

Die Lücke besteht zwar noch, aber AIA Labs unter Bridgewater und Thinking Machines lieferten am 30. Juni einen Beweis: Ein offenes Modell, das mit Expertenkommentaren feinabgestimmt wurde, übertraf gleichzeitig ein hochmodernes Modell sowohl in der Genauigkeit als auch in den Kosten.

In der Studie optimierte das Team Qwen3-235B mithilfe von Tinker (dem von Thinking Machines gehosteten API-Dienst für Feinabstimmung). Zunächst bezogen sie Annotationen vom Hersteller, trainierten das Modell in einer ersten Runde mit diesem Datensatz und sendeten anschließend die abweichenden Stichproben zur erneuten Annotation an die Investmentabteilung des Unternehmens zurück. Das Training nutzte Reinforcement Learning (GRPO) mit drei Modifikationen: Round-Robin-Batching (jede Aufgabe erzeugt abwechselnd einen Batch), CISPO-Verlust (der begrenzt, wie weit eine einzelne Antwort das Modell beeinflussen kann) und On-Policy-Destillation (die Verankerung am aktuellen optimalen Prüfpunkt, um zu verhindern, dass das Modell von schwächeren Kopien lernt).

Alle Aufgaben stammten aus dem Arbeitsalltag von Investmentexperten: Ist ein Nachrichtenartikel für Führungskräfte relevant? Lässt ein Dokument der Zentralbank auf zukünftige Zinsänderungen schließen? Wie verwendet man Formulierungsvorlagen in Dokumenten oder E-Mails? Die Bewertung erfolgte anhand eines unabhängigen Testdatensatzes. Modernste Modelle erreichten bei einfachen Fragen durchschnittlich etwa 50 % und bei Expertenfragen lediglich 78,2 %, also unter der von Investmentexperten festgelegten Schwelle von 80 %. Das optimierte Qwen erzielte 84,7 %, was laut Originaltext bedeutet, dass es 29,8 % weniger Fehler machte als das optimale Modell und die Schlussfolgerungskosten um das 13,8-Fache niedriger waren.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Dieser Fall zeigt, dass Open-Source-Modelle hinsichtlich Genauigkeit und Kosten punkten können, der Trainingsprozess jedoch weiterhin nicht privat ist. Die verwendeten Expertenannotationen sind proprietäre Daten von Bridgewater, die über den Drittanbieterdienst Tinker laufen und somit das gleiche Vertrauensniveau wie das ZDR-Protokoll erreichen. Der Fonds mietete zudem Rechenleistung an, und das gesamte Training lief auf Maschinen, die er nie kontrollierte. Käufer, die diese Vorgehensweise ohne die Vertrauensannahme wünschen, haben derzeit nur wenige Alternativen. Das Mieten von GPU-Clustern macht den Trainingsprozess für Cloud-Betreiber lesbar. Der Kauf eines Clusters löst zwar das Problem des Datenhostings, treibt die Kosten aber in die Höhe.

Die Route mit Attestierung ist nun verfügbar. Im März veröffentlichten Workshop Labs und Tinfoil Silo, einen Post-Training-Stack, der in Tinfoil-Enklaven auf einem einzelnen 8-Karten-Knoten läuft und dessen Schlüssel ausschließlich vom Kunden verwaltet werden. Laut Artikel verlängern die Enklavenkosten eine zweistündige Trainingssitzung um elf Minuten. Dieser Stack kann ein Modell mit einer Billion Parametern (Kimi K2 Thinking) verarbeiten, indem die Basisgewichte eingefroren und lediglich kleine Adapter darauf trainiert werden. Die Herausforderung besteht darin, dass Reinforcement Learning das Hin- und Herschieben von Daten zwischen den Komponenten erfordert, und genau hier entstehen die Enklavenkosten.

Weniger als einen Monat nach der Veröffentlichung von Silo wurde Workshop Labs von Thinking Machines übernommen, und alle Komponenten, die für den nächsten Bridgewater-artigen RL-Loop in der Enklave benötigt werden, befinden sich nun unter der Leitung desselben Unternehmens.

Privatsphäre auf der Gurtschicht

Es gibt ein weiteres Problem, das außerhalb aller privaten Inferenzmechanismen liegt. Diese Mechanismen verwalten jeweils den Pfad von der Eingabeaufforderung zum Modell, während jeder von einem Agenten initiierte Aufruf eines externen Tools einen Pfad öffnet, den die Inferenzschicht grundsätzlich nicht beeinflussen kann. Der aktuelle Trend des Harness-Engineerings verschärft das Problem: Jedes Tool, jeder Speicher und jede Datenquelle im Umfeld des Modells stellt ein weiteres Ziel dar, das seinen Teil des Workflows im Klartext liest. Kalenderserver lesen Zeitpläne, Datenbankserver lesen Abfragen. Ein vollständig lokaler Agent muss Suchbegriffe weiterhin im Klartext an eine Suchmaschine übermitteln, wenn er Daten außerhalb des Trainingsdatensatzes benötigt, da der Server keinen Klartext lesen und somit keine Fragen beantworten kann.

Gängige Lösungen setzen weiterhin standardmäßig auf die Protokollschicht. Unternehmen wie Runlayer und MintMCP nutzen ein zentrales Gateway, um den gesamten Datenverkehr der Tools zu steuern und personenbezogene Daten (PII) zu maskieren, bevor Anfragen gesendet werden. Das Gateway entscheidet außerdem, welche Server Datenverkehr empfangen dürfen, blockiert nicht geprüfte Server und protokolliert Ziel und Inhalt jedes Aufrufs. Selbst wenn diese Kontrollen unabhängigen Audits (SOC 2) unterliegen, müssen die Tool-Server weiterhin Klartextanfragen lesen, um zu antworten. Ob sie Kopien speichern, hängt von ihren jeweiligen Aufbewahrungsrichtlinien ab, multipliziert mit der Anzahl der Tools im Netzwerk. Darüber hinaus stellt das Gateway selbst eine zusätzliche lesende Instanz dar, die auf Vertrauen entlang des Übertragungswegs angewiesen ist, anstatt auf Verifizierung.

Lösungen auf struktureller Ebene zielen auf diese mittlere Schicht ab. Phala beispielsweise hostet den MCP-Server direkt in einer TEE und schützt so Wallets, Codeausführung und Datenquellen. Dadurch können Nutzer Datenschutzbestimmungen per Attestierung überprüfen, anstatt dem Betreiber zu vertrauen. Allerdings müssen in der TEE gehostete Tools weiterhin Anfragen im Klartext an Dienstanbieter senden; die Enklave schützt lediglich den Sender, nicht aber das Ziel.

Nur wenige Ziele haben gelernt, ohne Lesen zu antworten, und das auch nur bei strukturierten Anfragen. Apple bietet für das iPhone eine private Informationsabfrage, die es ermöglicht, Anrufernummern mit Spam-Anrufdatenbanken abzugleichen, ohne die Nummer preiszugeben. Microsoft verwendet dasselbe Verfahren für Passwörter im Edge-Browser. Die abfragefähige Verschlüsselung von MongoDB ermöglicht es Clients, Felder vor dem Senden zu verschlüsseln, sodass der Server Gleichheits- und Bereichsvergleiche ausschließlich auf Basis des verschlüsselten Textes durchführen kann.

Bei offenen Suchanfragen basieren die besten Ergebnisse jedoch weiterhin auf Vertrauen; eine verifizierbare, verschlüsselte Suche existiert noch nicht. Brave verspricht, in seinem eigenen Index von 40 Milliarden Seiten (im Gegensatz zu Google) keine Daten zu speichern, arbeitet aber dennoch auf der Protokollebene. Exa entwickelte einen neuronalen Index, der Nutzer-Keywords semantisch einbettet und Ergebnisse anhand dieser Semantik abgleicht. Dieser Einbettungsschritt basiert jedoch weiterhin auf Klartextdaten auf den Servern von Exa. Die 2023 veröffentlichte Tiptoe-Studie des MIT erreichte ein Ranking auf 360 Millionen Webseiten, ohne die Suchanfragen offenzulegen. Allerdings beansprucht jede Suche erhebliche Serverleistung, und die Ranking-Qualität unterscheidet sich von unverschlüsselten Suchanfragen. Apples Wally-Studie aus dem Jahr 2024 reduziert die Kommunikationskosten um bis zu 31 Mal, indem sie echte Suchanfragen in Ködern verbirgt. Diese Berechnung rechnet sich jedoch erst bei Millionen gleichzeitiger Anfragen – eine Größenordnung, die derzeit kein privates Suchsystem erreicht.

Verschlüsselte Suche ist machbar; sie hat jedoch in Bezug auf Leistung und Preis noch kein wirtschaftlich rentables Niveau erreicht.

Ausblick

Die Nachfrage nach privater KI wächst. Venice AI hat kürzlich die Marke von 3,5 Millionen registrierten Nutzern und einen monatlichen Durchsatz von 1,3 Billionen Token überschritten und anschließend eine neue Serie-A-Finanzierungsrunde im Wert von 1 Milliarde US-Dollar abgeschlossen. Proton ist der direkte Konkurrent; das Chat-Produkt Lumo konnte innerhalb eines Jahres nach dem Start über 10 Millionen Nutzer gewinnen. Infrastrukturtechnisch gesehen verarbeitet Phala derzeit täglich 2 bis 3 Milliarden Token auf OpenRouter. Duck.ai leitet gpt-oss-120b und Gemma in die Tinfoil-Enklave und bietet so nachweisbare Privatsphäre jenseits von Nutzer-Proxys. Dabei ist das Self-Hosting noch nicht einmal berücksichtigt, welches wahrscheinlich den größten Kanal für private Inferenz darstellt, da die Modelle auf der eigenen Hardware laufen und keine Nutzungsspuren hinterlassen.

Im breiteren Spektrum der Mainstream-KI nimmt datenschutzorientierte KI jedoch nur einen winzigen Teil ein, und diese Lücke wird sich erst schließen, wenn Spitzenlabore gezielt auf diese Nachfrage eingehen. Im Mai verarbeitete Google 320 Billionen Token über alle seine Produkte hinweg, was bedeutet, dass der monatliche Durchsatz von Venice in etwa Googles 18-Minuten-Rechnung entspricht. Im vergangenen November startete Google Private AI Compute (PAC), das einige Gemini-basierte Funktionen in abgeschotteten TPU-Enklaven ausführt, isoliert vom Unternehmen selbst. Das Design wird unabhängig von der NCC Group geprüft. Das Problem ist jedoch, dass PAC nur wenige Pixel-Funktionen wie personalisierte Empfehlungen und Audiozusammenfassungen abdeckt, nicht aber die Gemini-Anwendungen, die von Hunderten Millionen Menschen genutzt werden. Google ist bereit, die Designs an Prüfer weiterzugeben, da diese Funktionen über Geräte und Werbung monetarisiert werden, nicht durch den Verkauf von Token.

Auch die derzeitigen Hosting-Lösungen sind nicht perfekt. Nutzer, die höchste Vertraulichkeit durch Ende-zu-Ende-Verschlüsselung (E2EE) wünschen, müssen warten, bis neue Funktionen in Bereichen implementiert sind, die für Dienstanbieter nicht zugänglich sind. Private Sicherheitssysteme basieren weiterhin auf Protokollen der Dienstschicht. Für eine kostengünstige Nachbearbeitung ist es nach wie vor notwendig, Drittanbietern zu vertrauen, um optimale Ergebnisse bei der Feinabstimmung zu erzielen. Selbsthosting macht Dienstanbieter zwar überflüssig, doch der lokale Betrieb leistungsstarker Open-Source-Modelle kann mehr kosten als das Gebäude, in dem sie untergebracht sind.

Trotz einiger Mängel ist private KI zu einer realen und erschwinglichen Option geworden, und die verbleibenden Lücken schließen sich. Für Privatnutzer sind offene private Chats auf Lumo und Venice mit No-Logs-Garantie kostenlos, während Abonnements von Venice oder Tinfoil für 18 bis 20 US-Dollar dieselben Chats in geschützten Umgebungen kapseln – nicht teurer als ein ChatGPT-Abonnement. Für Unternehmens-Workflows sind Endpunkte mit Attestierung mittlerweile sogar günstiger als unverschlüsselte Routen. Endpunkte wie die E2EE-API von NEAR können nun verschlüsselten Kontext in geschützte Umgebungen integrieren, wobei Speicherzugriffe, Datei-Uploads und benutzerdefinierte Anweisungen bereits heute auf E2EE aufsetzen. Was das Post-Training mit Attestierung betrifft, wird NVIDIAs kommender Vera Rubin NVL72 vertrauliches Rechnen von Blackwells 8-Karten-Knoten auf 72-Karten-Racks ausweiten und so hochmoderne RL-Schleifen ohne Offenlegung von geistigem Eigentum ermöglichen.

Der eigentliche Mehrwert liegt jedoch jenseits dieser Preissenkungen. Datenschutz ist dort, wo er bereits existiert, nahezu kostenlos, deckt aber noch nicht die gängigen agentenbasierten Arbeitsabläufe ab. Anbieter, die sich auf die Vermietung und den Verkauf von Enklaven konzentrieren, verfügen über einen Schalter auf Standardchips, aber keinen Wettbewerbsvorteil, während Protokollschicht-Gateways mit traditioneller Middleware konkurrieren. Das verteidigungsfähige Gebiet ist die Hälfte dieses Berichts, die noch ungelöst ist: Trainingsschleifen in Enklaven, durchgängig versiegelte Tool-Aufrufe und unsichtbare Suchbegriffsindizes. Wer auch immer als Erster eines dieser Ziele erreicht, wird etwas anbieten, das durch keinen Preiskampf austauschbar ist. Investoren, die in datenschutzorientierte KI investieren, sollten die Lücken schließen, nicht nur den Schalter.

Vertrauen oder Überprüfung? Bei rechenintensiven Aufgaben mit hohem Aufwand an Ausführung und Agenten empfiehlt sich Vertrauen, da jeder Tool-Aufruf zwangsläufig Klartext an Ziele liefert, die von geschützten Systemen nicht isoliert werden können. In solchen Schleifen sind hochmoderne Modelle ihren Preis wert. Für strategisches Denken, das ein Unternehmen von seinen Wettbewerbern abhebt, ist Überprüfung hingegen ratsam. Strategie, Planung und Urteilsvermögen, gewonnen aus jahrelanger Berufserfahrung, stellen genau dieses umstrittene Alpha dar. Der Weg in die Zukunft besteht darin, Open-Source-Modelle mit diesen firmeneigenen Erkenntnissen innerhalb der Unternehmensgrenzen zu optimieren. In den Bereichen, in denen das Alpha eines Unternehmens verankert ist, haben von Experten optimierte Open-Source-Modelle bereits modernste Modelle hinsichtlich Genauigkeit und Kosten übertroffen, und die Infrastruktur für deren Entwicklung in datenschutzfreundlichen Umgebungen wird schrittweise aufgebaut.