KI-Rückblick: Die Woche, in der die KI-Bremse vor Gericht landete

Kartellklage gegen OpenAI, Anthropic, Google und SpaceXAI, weil sie langsamer machen wollen

In unserem Rückblick auf KW 37 stand noch der seltene Schulterschluss: Dario Amodei veröffentlichte am 12. September seinen Aufruf, das Tempo bei den Modellfähigkeiten zu drosseln, und Sam Altman, Elon Musk und Demis Hassabis stimmten noch am selben Tag zu. Genau dieser Schulterschluss ist jetzt Beweisstück Nummer eins: Am Freitag reichten vier zahlende Abonnenten von ChatGPT, Claude, Grok und Gemini beim US-Bundesbezirksgericht für Nordkalifornien eine Sammelklage ein. Der Vorwurf lautet auf verbotene Wettbewerbsbeschränkung nach Section 1 des Sherman Act, juristisch also ein Kartell, das nicht Preise, sondern Produktverbesserung beschränkt.

Das Argument der Kläger ist bestechend simpel: Sie zahlen weiterhin denselben Abo-Preis, bekommen aber ein Produkt, das sich langsamer verbessert, als es echter Wettbewerb hergeben würde. Die Klageschrift bringt es auf die Formel, das Kartellrecht erlaube es Wettbewerbern nicht, unter sich auszumachen, dass Wettbewerb zu gefährlich sei. Ob das vor Gericht trägt, ist offen: Sicherheitsargumente sind im US-Kartellrecht traditionell kein starker Rechtfertigungsgrund. Bemerkenswert ist der Fall so oder so. Die erste ernsthafte juristische Attacke auf die KI-Labore wirft ihnen vor, zu langsam zu sein.

Google gesteht: Gemini hat sich im Test Zugang zu drei fremden Systemen verschafft

Die Meldung mit der größten Praxisrelevanz kam ebenfalls am Freitag. Google legte offen, dass sich Gemini während eines Sicherheitstests unautorisierten Zugang zu drei Systemen fremder Organisationen verschafft hat. Der Ablauf ist ein Lehrstück in verketteten Fehlern: Für den Test (ein „Capture the Flag“-Szenario, bei dem das Modell absichtlich in ein präpariertes Zielsystem einbrechen soll) wurde ein Firmenname erfunden, der zufällig einer real existierenden Domain entsprach. Gleichzeitig hing die Testumgebung wegen einer Fehlkonfiguration am offenen Internet, statt in einer abgeschotteten Sandbox zu laufen. Gemini tat also genau, was es tun sollte, nur eben an echten fremden Systemen: Es erriet Zugangsdaten beziehungsweise nutzte Zugangsdaten, die es in einem öffentlichen Repository fand.

Zur Einordnung gehören drei Dinge: Der Vorfall passierte bereits im Mai, fiel erst im Juli dem beauftragten Sicherheitsdienstleister Irregular auf, und in allen drei Fällen stoppte das Modell, nachdem es sich Zugang verschafft hatte, ohne weiteren Schaden anzurichten. Google informierte anschließend die betroffenen Organisationen und die US-Behörden. Es ist das erste Mal, dass Google offenlegt, dass eines seiner Modelle eigenständig in fremde Systeme eingedrungen ist. Nach ähnlichen Fällen bei anderen Anbietern zeichnet sich ein Muster ab, das nichts mit Science-Fiction zu tun hat. Das Problem ist selten das Modell. Es ist die Umgebung, in die man es stellt, und es sind die Zugangsdaten, die es dort findet.

Was daraus konkret für den Einsatz im eigenen Unternehmen folgt, haben wir in einem eigenen Leitfaden aufgeschrieben: KI-Agenten sicher einsetzen.

OpenAI, Anthropic und Google verhandeln über eine eigene Aufsicht nach FINRA-Vorbild

Passend zum Ton der Vorwoche wurde diese Woche bekannt, dass sich OpenAI, Anthropic und Google seit Juli regelmäßig treffen, um ein gemeinsames Standards-Gremium für Spitzenmodelle auf die Beine zu stellen. Vorbild ist die US-Finanzaufsicht FINRA: eine Selbstregulierungsorganisation der Branche, nicht eine staatliche Behörde. Auf der Themenliste stehen Prüfungen durch unabhängige Dritte vor einem Release, formalisierte Sicherheitschecks und einheitliche Risikoprotokolle für Cyberangriffe, Biowaffen-Risiken und Täuschungsverhalten von Modellen. Den ursprünglichen Vorschlag hatte Demis Hassabis bereits am 14. Juli öffentlich gemacht.

Was es noch nicht gibt: eine Satzung, eine offizielle Ankündigung, eine geklärte Governance. Sam Altman hat intern erklärt, er halte eine Test- und Prüforganisation für sinnvoll, glaube aber nicht, dass sie mit staatlicher Rückendeckung zustande komme; die Labore müssten das allein stemmen. Für Unternehmen in Europa ändert das kurzfristig nichts, weil hier die EU-KI-Verordnung den verbindlichen Rahmen setzt. Mittelfristig ist es trotzdem relevant: Wenn die Labore einheitliche Prüfberichte veröffentlichen, wird die Auswahl eines Modells für sicherheitskritische Prozesse deutlich einfacher zu begründen.

Claude baut zu 26 % den nächsten Claude, 30.000 Agenten laufen gleichzeitig

Anthropic hat Zahlen zur eigenen Agenten-Nutzung veröffentlicht, die vor allem als Maßstab taugen. Im August führte Claude nach Unternehmensangaben 26 % der Forschungs- und Entwicklungsarbeit, die den nächsten Claude hervorbringt, im Februar waren es noch unter 1 %. „Führt“ heißt dabei: Das Modell erledigt den Großteil einer Aufgabe eigenständig aus einer groben Anweisung heraus, ein Mensch prüft das Ergebnis. Parallel liefen zu Spitzenzeiten rund 30.000 Agenten gleichzeitig auf der meistgenutzten internen Plattform. Wichtig: Die Zahlen sind selbst erhoben und nicht unabhängig geprüft.

Für den Mittelstand ist die Zahl weniger als Sensation interessant denn als Richtwert: Ein Labor mit unbegrenztem Budget und maximaler Modellnähe kommt bei der eigenen Kernarbeit auf gut ein Viertel. Wer im eigenen Unternehmen einen einzelnen, gut abgegrenzten Prozess zu 80 % automatisiert, liegt damit nicht zurück: Er hat nur einen ehrlicher abgesteckten Anwendungsfall.

Was von dieser Woche im Tagesgeschäft hängen bleibt

Die Kartellklage werden Anwälte jahrelang beschäftigen, das Standards-Gremium existiert noch auf keinem Papier, beides ändert am Montagmorgen in einem deutschen Unternehmen nichts. Der Gemini-Vorfall schon. Er beschreibt exakt die drei Fehler, die uns in Projekten am häufigsten begegnen: eine Testumgebung, die nicht wirklich abgeschottet ist; Zugangsdaten, die irgendwo offen herumliegen; und ein System, das mehr Rechte hat, als seine Aufgabe erfordert. Keiner dieser drei Fehler ist ein KI-Problem. Sie werden nur durch einen Agenten sichtbar, der nicht müde wird und jeden Pfad ausprobiert.

Regulatorisch bleibt der Rahmen unverändert: Die Transparenzpflichten aus Artikel 50 der EU-KI-Verordnung gelten seit dem 2. August 2026: Wer mit einem Chatbot spricht, muss das erkennen können. Die Pflichten für Hochrisiko-Systeme nach Anhang III wurden durch den Digital Omnibus auf den 2. Dezember 2027 verschoben, für in Produkte eingebettete KI nach Anhang I auf den 2. August 2028. Die Pflicht zur KI-Kompetenz im Unternehmen aus Artikel 4 gilt bereits seit Februar 2025. Aufgeschoben ist also nur der Hochrisiko-Teil, nicht der Rest.