Alternde Chatbots zeigen Anzeichen von Demenz, genau wie Menschen!

Sunday 05 January 2025 - 15:00

Eine neue Studie zeigt, dass einige führende KI-Chatbots deutliche Anzeichen einer leichten kognitiven Beeinträchtigung aufweisen.

Wie bei Menschen werden die Auswirkungen mit zunehmendem Alter der Chatbots ausgeprägter, wobei ältere, größere Sprachmodelle weniger gut funktionieren.

Die Studie wurde in der Fachzeitschrift „The BMJ“ veröffentlicht und soll klarstellen, dass die Technologie nicht effektiv genug ist, um im medizinischen Bereich, insbesondere in der Diagnose, eingesetzt zu werden, heißt es in einem Bericht der Website „Futurism“.

Die Forscher hinter der Studie sagten, die Ergebnisse stellten „die Hypothese in Frage, dass künstliche Intelligenz bald menschliche Ärzte ersetzen wird, da die offensichtlichen kognitiven Schwächen führender Chatbots ihre medizinische Diagnosesicherheit beeinträchtigen könnten“.

Die in dieser Studie getesteten Chatbots waren „GPT-4“ und „GPT-4o“ von OpenAI, „Claude 3.5 Sonnet“ von Anthropic sowie „Gemini 1.0“ und „Gemini 1.5“ von Google.

Diese Chatbots wurden für das Montreal Cognitive Assessment (MoCA) verwendet, einen Test zur Erkennung früher Anzeichen von Demenz, bei dem höhere Werte auf größere kognitive Fähigkeiten hinweisen.

„GPT-4o“ erhielt die höchste Punktzahl (26 von 30 Punkten, was fast der Untergrenze des Normalwerts entspricht), während die „Gemini“-Roboter die niedrigste Punktzahl erhielten (16 von 30 Punkten).

Obwohl alle Chatbots bei den meisten Aufgabentypen hervorragende Ergebnisse erzielten, schnitt jeder bei visuellen und räumlichen Aufgaben wie dem Zeichnen einer Linie zwischen kreisförmigen Zahlen in aufsteigender Reihenfolge schlecht ab.

Es hat sich auch gezeigt, dass es für künstliche Intelligenz sehr schwierig ist, eine Uhr zu zeichnen, die eine genaue Zeit anzeigt. Die Gemini-Modelle scheiterten völlig an einer relativ einfachen verzögerten Erinnerungsaufgabe, bei der es darum ging, sich eine Folge von fünf Wörtern zu merken.