Nachricht
New York/San Francisco, 16. Sep (Reuters) - Angesichts immer mächtigerer KI-Systeme suchen Experten händeringend nach möglichst harten Testfragen, um die Leistungsfähigkeit der Maschinen noch sinnvoll messen zu können. Am Montag riefen das gemeinnützige Center for AI Safety (CAIS) und das Startup Scale AI weltweit dazu auf, entsprechende Vorschläge einzureichen. "Wir brauchen dringend härtere Tests für Modelle auf Expertenebene, um den schnellen Fortschritt der KI messen zu können", sagte Alexandr Wang, CEO von Scale, bei der Vorstellung des Projekts "Humanity's Last Exam" (etwa: "die letzte Prüfung der Menschheit").
Bis zum 1. November sollen so mindestens 1000 Fragen zusammenkommen, die für Nicht-Experten schwer zu beantworten sind. Für angenommene Fragen winkt ein Preisgeld von bis zu 5000 Dollar. Einige Fragen sollen geheim bleiben, damit die KI die Antworten nicht einfach während ihrer Trainingsphase aus Datensätzen etwa im Internet lernen kann. Fragen zu Waffen sind nicht erlaubt: Einige Experten halten es für zu gefährlich, wenn sich die Maschinen mit diesem Thema beschäftigen würden. Hintergrund des Projekts ist die sprunghafte Geschwindigkeit, mit der die Künstliche Intelligenz (KI) in den vergangenen Monaten an Leistungsfähigkeit gewonnen hat.
CAIS-Direktor Dan Hendrycks verwies in diesem Zusammenhang auf das neue KI-Modell von OpenAI o1, das der Microsoft <MSFT.O>-Partner vor einigen Tagen vorgestellt hatte. Es habe die am häufigsten verwendeten Benchmarks für das logische Denken weit hinter sich gelassen, sagte er. Hendrycks war 2021 selbst an zwei Forschungsarbeiten beteiligt, die zu bislang viel benutzten Prüfungen für KIs führten. Bei der einen ging es um Wissen etwa über die US-Geschichte auf dem Niveau von Studienanfängern, bei der anderen um Mathematik. Damals seien die Antworten der KIs auf die Fragen kaum besser gewesen als der Zufall. "Jetzt wurden sie pulverisiert", sagte Hendrycks über die Prüfungen.
(Bericht von Jeffrey Dastin und Katie Paul Geschrieben von Scot W. Stevenson Redigiert von Birgit Mittwollen. Bei Rückfragen wenden Sie sich bitte an unsere Redaktion unter berlin.newsroom@thomsonreuters.com (für Politik und Konjunktur) oder frankfurt.newsroom@thomsonreuters.com (für Unternehmen und Märkte).)