Malaysia und Indonesien sperren Grok wegen Missbrauchs von KI-generierten sexuellen Inhalten

Monday 12 January 2026 - 14:10

Malaysia und Indonesien haben als erste Länder den Zugang zu Grok, dem von Elon Musks xAI entwickelten KI-Chatbot, gesperrt. Die Behörden gaben bekannt, dass der Bot missbraucht wurde, um nicht einvernehmliche und sexuell explizite Bilder zu erstellen.

Diese Maßnahmen spiegeln die weltweit wachsende Besorgnis über generative KI-Tools wider, die realistische Bilder, Töne und Texte erzeugen können, während bestehende Schutzmechanismen ihren Missbrauch nicht verhindern.

Der Grok-Chatbot, der über Musks Social-Media-Plattform X zugänglich ist, wurde für die Generierung manipulierter Bilder kritisiert, darunter Darstellungen von Frauen in Bikinis oder in sexuell expliziten Posen sowie Bilder mit Kindern.

Die Aufsichtsbehörden der beiden südostasiatischen Länder erklärten, die bestehenden Kontrollen würden die Erstellung und Verbreitung gefälschter pornografischer Inhalte, insbesondere mit Bezug zu Frauen und Minderjährigen, nicht verhindern. Die indonesische Regierung sperrte den Zugang zu Grok am Samstag vorübergehend, Malaysia folgte am Sonntag.

„Die Regierung betrachtet nicht einvernehmliche Deepfakes mit sexuellem Inhalt als schwerwiegende Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum“, erklärte Indonesiens Minister für Kommunikation und Digitales, Meutya Hafid, am Samstag.

Das Ministerium gab an, die Maßnahme diene dem Schutz von Frauen, Kindern und der gesamten Bevölkerung vor mithilfe von KI generierten gefälschten pornografischen Inhalten.

Erste Erkenntnisse hätten gezeigt, dass Grok keine wirksamen Schutzmechanismen verfüge, um Nutzer daran zu hindern, pornografische Inhalte auf Basis realer Fotos indonesischer Einwohner zu erstellen und zu verbreiten, erklärte Alexander Sabar, Generaldirektor der Aufsichtsbehörde für den digitalen Raum, in einer separaten Stellungnahme.

Solche Praktiken bergen das Risiko, die Privatsphäre und das Recht am eigenen Bild zu verletzen, wenn Fotos ohne Einwilligung manipuliert oder geteilt werden, und können psychische, soziale und rufschädigende Folgen haben.

In Kuala Lumpur ordnete die malaysische Kommunikations- und Multimedia-Kommission am Sonntag eine vorübergehende Einschränkung für Grok an, nachdem das Tool wiederholt missbraucht worden war, um obszöne, sexuell explizite und nicht einvernehmlich manipulierte Bilder zu erstellen, darunter auch Inhalte mit Frauen und Minderjährigen.

Die Regulierungsbehörde erklärte, dass die diesen Monat an X Corp. und xAI gerichteten Aufforderungen zu strengeren Sicherheitsvorkehrungen hauptsächlich auf Nutzermeldungen zurückgingen.

„Die Einschränkung wird als präventive und verhältnismäßige Maßnahme verhängt, während die rechtlichen und regulatorischen Verfahren laufen“, hieß es. Der Zugriff bleibe gesperrt, bis wirksame Sicherheitsvorkehrungen getroffen seien.

Grok wurde 2023 eingeführt und ist auf X kostenlos nutzbar. Nutzer können Fragen auf der Social-Media-Plattform stellen und selbst erstellte Beiträge oder Antworten auf Beiträge anderer Nutzer markieren. Im vergangenen Sommer fügte das Unternehmen die Bildgenerator-Funktion „Grok Imagine“ hinzu, die einen sogenannten „Spicy Mode“ zur Generierung von Inhalten für Erwachsene beinhaltet.

Die Einschränkungen in Südostasien erfolgen vor dem Hintergrund zunehmender Kritik an Grok in anderen Ländern, darunter der Europäischen Union, Großbritannien, Indien und Frankreich.

Nach weltweiter Kritik an sexualisierten Deepfakes von Personen beschränkte Grok letzte Woche die Bildgenerierung und -bearbeitung auf zahlende Nutzer. Kritiker bemängeln jedoch, dass das Problem damit nicht vollständig gelöst wurde.