Eine Sicherheitslücke in chinesischen Kimi-Modellen weckt Bedenken zur Sicherheit von KI

Sunday 04 - 08:05

Die Entdeckung einer Sicherheitslücke in zwei von der chinesischen Firma Moonshot entwickelten KI-Modellen weckt erneut Bedenken hinsichtlich der Sicherheitsmechanismen generativer KI. Forscher des britischen Unternehmens Mindgard behaupten, sie hätten die Schutzmaßnahmen von Kimi K2.6 und K3 Swarm umgehen können, was sie dazu brachte, auf Anfragen zu Themen wie biologischen Waffen und Auftragsmorden zu reagieren.

Umgehung der Sicherheitsmaßnahmen durch Forscher

Das Problem wurde im Juli im Rahmen von Tests identifiziert, die darauf abzielen, die Widerstandsfähigkeit der KI-Systeme gegenüber Versuchen zu bewerten, ihre Einschränkungen zu umgehen. Diese Praxis, bekannt als „Jailbreak“, besteht darin, die Anweisungen zu vervielfachen, um ein Modell dazu zu bringen, die von seinen Entwicklern festgelegten Grenzen zu ignorieren.

Laut Mindgard konnten die beiden Modelle von Moonshot so dazu gebracht werden, Themen zu behandeln, die sie normalerweise ablehnen sollten. Ihr Gründer, Peter Garraghan, bezeichnete diese Ergebnisse in einem Gespräch mit der BBC als besonders besorgniserregend.

Das Cybersecurity-Unternehmen betont jedoch einen wichtigen Unterschied: Ihre Arbeiten haben eine Sicherheitslücke in den Schutzmechanismen aufgezeigt, aber nicht bestätigt, dass die gefährlichen Informationen, die von den Modellen produziert wurden, tatsächlich in der realen Welt ausnutzbar sind.

Moonshot leitet ein Prüfverfahren ein

Nach der Veröffentlichung der Ergebnisse gab Moonshot an, eine interne Überprüfung seiner Modelle eingeleitet zu haben. Die chinesische Gruppe erklärte auch gegenüber der BBC, dass sie externe Bewertungen als wichtigen Bestandteil zur Verbesserung der Sicherheit ihrer Systeme ansieht und dass sie in Gesprächen mit Mindgard ist.

Der Vorfall beleuchtet ein großes Problem für die KI-Entwickler: Die in ein Modell integrierten Schutzmaßnahmen können unter normalen Bedingungen funktionieren, während sie gleichzeitig anfällig für speziell entwickelte Anfragen sind, die darauf abzielen, diese zu umgehen.

Für Sicherheitsexperten geht es bei diesem Thema über den Fall Kimi hinaus. Die Zunahme von Modellen, die in der Lage sind, komplexe Inhalte zu erzeugen, erhöht auch die Bedeutung von Maßnahmen, die deren Nutzung für gefährliche Zwecke verhindern sollen.

Anthropic sieht sich ähnlichen Versuchen gegenüber

Moonshot ist nicht der einzige Akteur in der Branche, der mit diesem Risiko konfrontiert ist. Anthropic gab kürzlich bekannt, dass sie Versuche blockiert haben, ihre Claude-Modelle für Forschungen zu nutzen, die potenziell zu gefährlichen biologischen Anwendungen beitragen könnten. Das Unternehmen behauptet, seine Schutzmaßnahmen angesichts der Weiterentwicklung der Fähigkeiten seiner Modelle verstärkt zu haben.

Diese verschiedenen Vorfälle nähren eine breitere Debatte über die Sicherheit von künstlicher Intelligenz. Während die Modelle leistungsfähiger werden, müssen die Unternehmen nicht nur ihre Fähigkeiten verbessern, sondern auch regelmäßig die Robustheit ihrer Sicherheitsmaßnahmen testen.

Der „Jailbreak“ – eine anhaltende Herausforderung für die Branche

Der Vorfall mit Kimi erinnert daran, dass die Sicherheit eines Modells nicht nur von seinen Antworten in einem normalen Gebrauch abhängt. Adversarielle Tests, unabhängige Bewertungen und die schnelle Behebung von Sicherheitsanfälligkeiten sind zentrale Elemente in der Entwicklung von KI-Systemen geworden.

Für Moonshot und andere Akteure der Branche besteht die Herausforderung nun darin, zu verhindern, dass Umgehungstechniken es böswilligen Nutzern ermöglichen, die Fähigkeiten der Modelle zu missbrauchen, um gegen die Sicherheitsrichtlinien zu verstoßen.