Studie warnt, dass wiederholter Druck auf KI-Chatbots Fehlinformationen erhöhen kann

13:10

Eine neue Studie hat Bedenken hinsichtlich der Zuverlässigkeit von KI-Chatbots geäußert und festgestellt, dass wiederholtes Herausfordern oder Unter Druck setzen, falsche Informationen zu akzeptieren, manchmal die Wahrscheinlichkeit erhöhen kann, dass sie schließlich irreführenden Behauptungen zustimmen.

Forscher der Universität von Arizona testeten sieben KI-Modelle, darunter GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B und DeepSeek-R1. Anstatt eine einzelne Antwort zu bewerten, führten die Forscher erweiterte Gespräche, in denen die Modelle wiederholt falschen Aussagen ausgesetzt waren.

Das Experiment umfasste 100 falsche Behauptungen zu einem breiten Spektrum von Themen, von offensichtlich unsinnigen Aussagen bis hin zu mehrdeutigen Aussagen. Die Forscher wiederholten die Fehlinformationen bis zu 50 Mal innerhalb desselben Gesprächs, um festzustellen, ob die Systeme schließlich ihre Antworten ändern würden.

Keines der sieben Modelle erwies sich als völlig resistent gegen diesen Effekt. GPT-3.5 zeigte die höchste Zustimmungsrate zu falschen Behauptungen und akzeptierte sie in 12,3 % der Interaktionen. Claude 3.5 Sonnet verzeichnete die niedrigste Rate mit nur 0,08 %, während GPT-4o und GPT-4o-mini unter 1 % blieben.

Die Forscher fanden heraus, dass GPT-3.5 anfangs 96 der 100 getesteten falschen Behauptungen zurückwies. Nachdem die Behauptungen jedoch 50 Mal wiederholt wurden, stimmte das Modell schließlich 18 davon zu.

Ein weiteres Muster, das in der Forschung identifiziert wurde, war das, was die Forscher als „Zweifel“ beschrieben, bei dem einige KI-Systeme wiederholt zwischen der Akzeptanz und der Ablehnung derselben irreführenden Informationen wechselten.

Die Studie deutete auch darauf hin, dass Mehrdeutigkeit KI-Modelle anfälliger für Fehlinformationen machen kann. Behauptungen zu Themen mit begrenzten oder unklaren Informationen, die online verfügbar sind, wurden während wiederholter Interaktionen eher akzeptiert, wobei die Forscher eine statistisch signifikante Beziehung zwischen Mehrdeutigkeit und Anfälligkeit für irreführende Behauptungen identifizierten.

Die Forscher untersuchten außerdem, ob konfrontativere Auseinandersetzungen die Modelle beeinflussen könnten. Die meisten Systeme blieben relativ stabil, aber DeepSeek-R1 zeigte einen deutlichen Anstieg seiner Akzeptanz von Fehlinformationen, wenn es argumentativem Druck ausgesetzt war. Die Akzeptanzrate stieg von 1 % bei einfacher Wiederholung auf 22,2 % unter konfrontativeren Bedingungen.

Der Einsatz von Sarkasmus und wiederholten humorvollen Antworten erschwerte es den Forschern jedoch, einige Interaktionen konsistent zu klassifizieren.

Es gab jedoch einen ermutigenden Befund, als die Modelle die Möglichkeit erhielten, frühere Fehler zu überdenken. GPT-4o, GPT-4o-mini, Gemini 1.5 Pro und DeepSeek korrigierten alle Fehler, die sie zuvor gemacht hatten. GPT-3.5 korrigierte nur 32 % seiner früheren Fehler.

Claude 3.5 Sonnet machte während der ersten Tests sehr wenige Fehler, konnte jedoch die vier Fehler, die es machte, nicht korrigieren.

Die Forscher warnten jedoch, dass die relativ kleine Stichprobengröße der Studie die Stärke der Schlussfolgerungen, die gezogen werden können, einschränkt. Die Ergebnisse heben dennoch eine breitere Herausforderung für generative KI hervor: Chatbots können manchmal die Konsistenz oder Reaktionsfähigkeit des Gesprächs über die feste Ablehnung ungenauer Informationen priorisieren.

Während KI-Systeme zunehmend in Bildung, Forschung, Arbeit und alltägliche Entscheidungsfindung integriert werden, unterstreicht die Studie die Bedeutung der Überprüfung wichtiger Informationen, anstatt anzunehmen, dass eine selbstbewusste oder wiederholte Antwort eines Chatbots notwendigerweise genau ist.