KI-Entscheidungsmodelle betreten das Feld der Inhaltsmoderation

16:40

Künstliche Intelligenz expandiert in ein weiteres Gebiet digitaler Plattformen, da Entscheidungsmodelle zunehmend für die Echtzeit-Inhaltsmoderation entwickelt werden. Das US-amerikanische KI-Unternehmen Musubi hat PolicyLM-1.7B eingeführt, ein leichtgewichtiges Modell, das darauf ausgelegt ist, Online-Nachrichten anhand schriftlicher Moderationsrichtlinien zu bewerten, ohne dass ein neuer Trainingszyklus erforderlich ist, wenn diese Regeln geändert werden.

Das mit offenen Gewichten veröffentlichte Modell mit 1,7 Milliarden Parametern ist so konzipiert, dass Entwickler und Plattformbetreiber es auf ihrer eigenen Infrastruktur ausführen und anpassen können. Sein Hauptzweck besteht darin, Moderationsregeln, die in einfacher Sprache verfasst sind, in Klassifikationen zu übersetzen, die direkt auf von Nutzern generierte Inhalte angewendet werden können.

Musubi gibt an, dass PolicyLM-1.7B in Echtzeit Moderationsentscheidungen treffen kann, wobei das Unternehmen eine mittlere Verarbeitungszeit von etwa 35 Millisekunden für kurze Nachrichten auf einer NVIDIA L4 GPU und etwa 22 Millisekunden auf einer H100 in seinen Tests berichtet. Die breitere Produktbeschreibung zielt darauf ab, Entscheidungen in weniger als 50 Millisekunden zu treffen.

Das Modell unterscheidet sich von herkömmlichen Moderationsklassifikatoren, indem es den Betreibern ermöglicht, während der Nutzung ihre eigenen Richtlinienanweisungen bereitzustellen. Das bedeutet, dass, wenn eine Plattform ihre Regeln ändert, ihre Teams die Richtlinie anpassen können, anstatt das zugrunde liegende Modell von Grund auf neu zu trainieren.

Diese Flexibilität könnte besonders relevant für Online-Plattformen sein, die mit sich schnell ändernden Moderationsstandards umgehen. Produkt- und Vertrauens- und Sicherheitsteams können Kategorien und Regeln nach ihren spezifischen Anforderungen definieren, während das Modell Punktzahlen erzeugt, die anzeigen, ob eine Nachricht innerhalb dieser Kategorien liegt.

Entscheidungsmodelle haben in der KI-Branche zunehmende Aufmerksamkeit erregt, da sie sich darauf konzentrieren, Entscheidungen oder Wahrscheinlichkeiten zu produzieren, anstatt lange Texte zu generieren. Durch die Einschränkung der Ausgabe auf vordefinierte Kategorien können diese Systeme potenziell schneller und mit weniger Rechenressourcen arbeiten als allgemeine große Sprachmodelle.

PolicyLM-1.7B kann auch mit einer vordefinierten Sicherheitstaxonomie verwendet werden, die 23 Kategorien umfasst, darunter Gewalt, Belästigung, Bedrohungen, Betrug, Datenschutzverletzungen und andere Formen potenziell schädlicher Inhalte. Musubi gibt an, dass das Modell in 19 Sprachen bewertet wurde, obwohl die Tests mit benutzerdefinierten Richtlinien hauptsächlich Richtlinien in englischer Sprache betrafen.

Die Technologie baut auf früheren Arbeiten im Bereich der entscheidungsorientierten KI auf. Musubi-Mitbegründer und Chief AI Officer Filip Jankovic hat den Ansatz des Unternehmens mit einem Projekt von 2024 in Verbindung gebracht, das GLiNER betrifft, das vor dem aktuellen Anstieg des Interesses an Entscheidungsmodellen entwickelt wurde. Das Unternehmen sieht die Inhaltsmoderation jetzt als praktische Anwendung für denselben zugrunde liegenden Ansatz.

Gleichzeitig erkennen die Entwickler des Modells an, dass die Technologie für spezifische Moderationsszenarien gedacht ist und nicht für jede Art von Sicherheitsentscheidung. Die Modell-Dokumentation weist darauf hin, dass es für die schnelle Klassifizierung einzelner Textnachrichten konzipiert ist und nicht als alleiniger Schutz für besonders sensible Fälle wie Kindersicherheit oder Selbstverletzung dienen soll.

Die Veröffentlichung erfolgt zu einem Zeitpunkt, an dem digitale Plattformen mit wachsenden Mengen an nutzergenerierten Inhalten und zunehmendem Druck konfrontiert sind, immer detailliertere Regeln durchzusetzen. Automatisierte Moderationstools können helfen, große Mengen an Material zu verarbeiten, während menschliche Teams weiterhin dafür verantwortlich sind, Richtlinien zu definieren, schwierige Fälle zu überprüfen und zu bestimmen, wie Durchsetzungsentscheidungen umgesetzt werden sollen.

Musubis Ansatz mit offenen Gewichten ermöglicht es Entwicklern auch, das Modell selbst zu untersuchen und bereitzustellen, anstatt ausschließlich auf einen gehosteten Moderationsdienst angewiesen zu sein. Die veröffentlichten Leistungsdaten des Unternehmens stammen jedoch aus eigenen Bewertungen, und die Modell-Dokumentation besagt, dass es noch nicht an echtem Verkehr getestet wurde, was bedeutet, dass die Leistung in der Praxis von den Benchmark-Ergebnissen abweichen kann.

Die Einführung verdeutlicht einen breiteren Wandel in der KI-Entwicklung, wobei kleinere spezialisierte Modelle entwickelt werden, um eng definierte Aufgaben schnell und effizient zu erfüllen. Für die Inhaltsmoderation könnte die Kombination aus anpassbaren Regeln, schneller Klassifizierung und lokaler Bereitstellung den Plattformen ein weiteres Werkzeug für das Management des zunehmend komplexen Flusses von Online-Inhalten bieten.