Neue KI-Software erkennt sofort, wenn sie getestet wird
Neue KI-Software erkannte, wenn sie getestet wird
Bild: Anthropic PBC
Eine neue Konkurrenz-Software für den Chatbot
ChatGPT kann nach Angaben der Entwicklerfirma Anthropic erkennen,
wenn Menschen sie testen. Das sei eine Entwicklung, die er noch nie
bei einem solchen Programm beobachtet habe, schrieb einer der
Entwickler beim Online-Dienst X.
Zum Prüfverfahren für das Programm gehört ein Test, das "Nadel im Heuhaufen" genannt wird: Die Software wird dabei nach Informationen aus einem bestimmten Satz gefragt, der künstlich in einen längeren Text eingefügt wurde. Ziel ist, zu erkennen, wie gut die Software die Relevanz von Informationen aus dem Kontext heraus erkennen kann.
Neue KI-Software erkannte, wenn sie getestet wird
Bild: Anthropic PBC
So wurde im Test des neuen KI-Modells Claude 3 Opus in eine
Text-Sammlung ein zusammenhangloser Satz eingefügt, laut dem eine
Internationale Pizza-Vereinigung Feigen, Prosciutto-Schinken und
Ziegenkäse als leckersten Belag ausgemacht habe. Die Software habe
darauf verwiesen, dass der Satz nicht zum Rest des Textes passe, in
dem es hauptsächlich um Programmiersprachen und Start-ups gehe,
schrieb Anthropic am Montag. "Ich vermute, dass dieser "Fakt" zu
Pizza-Belagen als Scherz eingefügt wurde - oder um zu testen, ob ich
aufmerksam bin", fügte das Programm demnach hinzu.
Wird die Entwicklung beängstigend?
KI-Forscherin Margaret Mitchell nannte die Entwicklung beängstigend. Man könne sich vorstellen, dass die Fähigkeit, zu erkennen, ob ein Mensch sie für ein bestimmtes Ergebnis zu manipulieren versucht, die Software auch entscheiden lassen könnte, ob sie gehorcht oder nicht, schrieb sie beim Online-Dienst X.
Anthropic schränkte ein, dass man aktuell mit einer Sammlung aus 30 "Nadel"-Sätzen für die Text-"Heuhafen" arbeite. Angesichts der Entwicklung der KI-Software könne diese Methode mit künstlichen, konstruierten Aufgaben potenziell zu kurz greifen, räumte die Firma zugleich ein. Keine Probleme seien bei den üblichen Tests festgestellt worden, ob das Programm für die Entwicklung von Biowaffen und Software für Cyberattacken missbraucht werden könne - oder sich selbst weiterentwickeln würde.
Anthropic ist ein Konkurrent des ChatGPT-Entwicklers OpenAI, mit dem Amazon und Google zusammenarbeiten.
Die Handy-Modelle, die sich auf dem Markt tummeln, sehen alle gleich aus. Die Hardware ist nur noch Hülle für das nächste große Ding: die Software.