KI-Pornografie: Jailbreak bringt sechs Entwickler ins Gefängnis

KI-Pornografie führt in China zu Haftstrafen: Sechs Entwickler umgingen Sicherheitsfilter und machten daraus ein lukratives Geschäftsmodell.

KI-Modell gezielt von Schutzfiltern befreit

KI-Pornografie: Aus generativer KI wird ein kommerzieller Porno-Dienst

Vom Jailbreak zur Frage der Verantwortlichkeit

KI-Pornografie: Gericht zieht Konsequenzen

In China sind sechs Entwickler wegen KI-Pornografie zu mehrjährigen Haftstrafen verurteilt worden. Sie wollten sich ein lukratives Geschäftsfeld erschließen und haben dafür ein generatives KI-Modell zunächst von seinen Sicherheitsmechanismen befreit. Danach ließ sich damit gegen Bezahlung pornografisches Material erzeugen.

Wie Global Times informierte, erzeugte das betreffende KI-System schließlich mehr als 370.000 statische und über 6.000 animierte Bilder. Aktuell hat ein chinesisches Gericht zum Fall klargestellt, auch wenn die Nutzer die Inhalte per Eingabe anforderten, tragen die Entwickler dafür die Verantwortung.

KI-Modell gezielt von Schutzfiltern befreit

Der Fall ereignete sich in der chinesischen Provinz Zhejiang. Verhandelt wurde er vom Volksgericht der Stadt Yuyao. Im Mittelpunkt stand dabei ein Team um einen früheren Programmierer eines chinesischen Spieleunternehmens. Dieser soll im Juli 2024 auf einen ausländischen KI-Chatbot mit sexueller Ausrichtung gestoßen sein. Daraufhin hatte er die Idee, ein vergleichbares Angebot selbst aufzubauen.

Gemeinsam entwickelte das Team ein eigenes Angebot auf Basis eines generativen KI-Modells. Im Januar 2025 ging der Dienst auf einer ausländischen Plattform online. Bezahlt wurde über verschiedene Zahlungswege und Kryptowährungen.

Die Entwickler manipulierten für ihr Projekt die Systemvorgaben des KI-Modells. Die Gruppe setzte dabei auf Prompt Engineering, um das Basismodell zu „jailbreaken“. Dafür schrieben sie die Systemprompts wiederholt um, bis sich die eingebauten Sicherheitsvorgaben umgehen ließen. Sie legten Charakterkarten, vordefinierte Profile für die virtuellen Charaktere, an und konstruierten Dialogszenarien.

KI-Pornografie: Aus generativer KI wird ein kommerzieller Porno-Dienst

Nach abgeschlossener Zahlung konnten Nutzer innerhalb des Angebots verschiedene Charaktere auswählen und mit den KI-generierten Gesprächspartnern sexuelle Dialoge führen. Gegen zusätzliche Credits ließen sich darüber hinaus statische und........

© Tarnkappe