Illusion oder bald Realität? Was heutiger KI noch zur Superintelligenz fehlt

Letzte Woche schaute die Tech-Welt wieder nach Mountain View in Kalifornien. Dort hielt Google seine jährliche Entwickler-Konferenz ab – der Anlass, an dem die Firma ihre jüngsten technischen Fortschritte enthüllt. Und natürlich drehte sich fast alles um künstliche Intelligenz.

Für KI-Experten aufregender war jedoch ein weisses Papier, das Google wenige Tage vor der Konferenz veröffentlichte. Darin beschreiben Forscher von Google Deepmind eine zunächst nur intern verwendete KI, die Computerprogramme nicht nur selbständig schreibt, sondern auch laufend verbessert. Diese KI könne auch sich selbst optimieren, schrieben die Forscher. Ist das nun der Beginn des Zeitalters der künstlichen Superintelligenzen, deren Können explosionsartig wächst? Werden Menschen nun bald zu intellektuellen Zwergen degradiert, die den überlegen Maschinen nur noch zuarbeiten?

Solche Fantasien hegen die KI-Gurus im Silicon Valley nicht mehr nur unter vorgehaltener Hand. Als «ein Land von Genies in einem Rechenzentrum» stellt sich Dario Amodei, der CEO der KI-Firma Anthropic, die Zukunft der künstlichen Intelligenz vor. Amodei träumt von mächtigen KI-Systemen, jedes schlauer als ein Nobelpreisträger, die die Welt verändern statt nur analysieren sollen. Diese Vision, so schätzt er, könnte bereits 2026 Realität werden.

«Nicht schlauer als eine Hauskatze»

Aber es gibt auch prominente Skeptiker, etwa Yann LeCun, KI-Forschungschef beim Facebook-Konzern Meta. Die heutige KI sei nicht einmal schlauer als eine Hauskatze, betont er immer wieder auf Social Media und in öffentlichen Vorträgen. Mit der aktuellen Chatbot-Technologie sei menschenähnliche künstliche Intelligenz unerreichbar.

Auch der Google-Deepmind-CEO selbst, der Nobelpreisträger Demis Hassabis, denkt, dass noch ein paar Durchbrüche in der Forschung nötig seien, bis Maschinen an die Fähigkeiten von Menschen herankommen. In einem Podcast zählte er jüngst auf, wo KI seiner Meinung nach noch den Menschen hinterherhinke: beim echten logischen Denken, bei der Fähigkeit zu planen, beim Langzeitgedächtnis – von echt kreativem Denken ganz zu schweigen.

Die Skepsis von LeCun und Hassabis wird von jüngsten Forschungsergebnissen untermauert. Selbst die besten KI-Modelle scheitern immer noch an Aufgaben, die abstraktes und vorausschauendes Denken erfordern.

Zudem ist KI oft weniger kompetent, als es scheint: Sie kann zwar zum Teil sehr schwierige Mathematik- und Programmiertests bestehen und lange Berichte zu komplexen Themen verfassen. Aber die gelieferten Antworten enthalten immer wieder Fehler. Und was noch gravierender ist: Auch wenn die Lösung stimmt, heisst das noch lange nicht, dass die KI das Problem wirklich verstanden hat.

KI versteht die Welt nicht – findet sie sich darin zurecht?

In einer Studie zeigten Forscher der Universitäten Harvard, MIT, Cornell und Chicago, dass eine Chatbot-KI, die nur mit den Beschreibungen von Taxifahrten in Manhattan trainiert worden war, tatsächlich lernte, durch das New Yorker Viertel zu navigieren. Sie wollten dann wissen, ob dieses Modell verwendet werden könnte, um ein verlässliches Navigationssystem zu bauen.

Diese Hoffnung wurde jedoch enttäuscht. Denn die KI hatte zwar das Strassennetz kartiert, aber diese Karte fiel recht phantasievoll aus. Mit dem echten Stadtplan hatte sie wenig zu tun. Es gab darin lauter unmögliche Strassenverläufe und imaginäre Brücken.

Die KI fand sich also zurecht und wählte sogar zuverlässig den kürzesten Weg zum Ziel, aber für Kartierungszwecke war ihr internes Navigationssystem unbrauchbar. Und nicht nur das: Als die Forscher in ihr Experiment Strassensperrungen einbauten und die KI damit quasi zwangen, Umwege zu fahren, verlor sie die Orientierung.

Wahrscheinlichkeit gleicht nicht Wahrhaftigkeit

Dass KI sich offenbar kein akkurates Bild von der Aussenwelt machen kann, spricht nicht gerade für eine übermenschliche Intelligenz. Das Manko überrascht aber Nouha Dziri nicht.

Dziri forscht am gemeinnützigen Allen Institute for AI in Seattle zu den Grenzen von sogenannten Transformers. Dieser Fachbegriff bezeichnet die Bauweise praktisch aller generativen KI-Apps wie Chat-GPT, Deepseek und Grok.

Ein Transformer ist im Grunde eine Maschine, die Wörter in sehr lange Listen von Zahlen umwandelt, mit denen sich rechnen lässt. Es ist diese Codierung, die es den Chatbots ermöglicht, nach dem Training mit Unmengen von Texten die Bedeutungen von Wörtern zu verstehen und Anfragen zu beantworten. Dank einem eingebauten «Selbstaufmerksamkeitsmechanismus» schaffen Transformers zudem etwas, das ältere KI nicht gut konnte: Wörter in einem längeren Kontext zu verstehen.

Beim Generieren von Antworten wählen Transformers sequenziell – also nacheinander – das im gegebenen Kontext wahrscheinlichste nächste Wort. Wahrscheinlichkeit gleicht jedoch nicht Wahrhaftigkeit: Dass ein Wort wahrscheinlicher ist als alle anderen, heisst noch lange nicht, dass es die richtige Fortsetzung eines Satzes ist.

«Zerklüftete Intelligenz»

Das Problem wird dadurch verschärft, dass jeder Fehler die Wahrscheinlichkeit erhöht, dass auch das nächste generierte Wort Unsinn ist. Und genau darin liegt ein häufiger Grund für das Halluzinieren von Chatbots. Ein einziger Fehler kann sich lawinenartig ausbreiten und plötzlich spuckt die KI nur noch Geschwafel aus.

Obwohl sie ursprünglich dafür konzipiert wurden, Sprache zu verarbeiten, kommen Transformers inzwischen auch in anderen Gebieten zum Einsatz. Und sie sind darin auch zu erstaunlichen Leistungen fähig. Sie lösen mathematische Aufgaben, die sonst nur die besten Studenten knacken, und programmieren auf dem Niveau eines Softwareentwicklers mit absolviertem Studium.

Gleichzeitig scheitern sie aber an Aufgaben, die einem durchschnittlich begabten Menschen keine Mühe bereiten würden. Forscher bezeichnen die Intelligenz der Chatbots deshalb als «zerklüftet». Sie hat sehr hohe Spitzen und sehr tiefe Täler.

KI versteht nicht, was sie selbst generiert

Wie Dziris Forschung zeigt, sind viele der Denkschwächen gegenwärtiger KI tatsächlich «angeboren», also in der Transformer-Bauweise begründet. Sie macht KI bei der Text- und Bildgenerierung sehr erfolgreich, ist aber für abstraktes logisches Denken ungeeignet.

In einer Studie zeigten Dziri und Mitautoren beispielsweise, dass die Transformer-Modelle selbst das, was sie selbst generieren, nicht verstehen. Sie liessen verschiedene KI-Modelle Texte und Bilder produzieren und stellten dann Fragen dazu.

So erstellte die KI zwar ein realistisches Bild von einer Bergziege. Aber auf die Frage, ob auf demselben Bild eine Bergziege zu sehen sei, antwortete sie mit Nein. Das sei paradox, sagt Dziri. Bei Menschen sei es in der Regel umgekehrt: Verstehen falle uns üblicherweise leichter als Kreieren.

KI lernt keine allgemeinen Lösungsverfahren

Wie KI genau lernt, Probleme zu lösen, ist immer noch unklar. Offensichtlich gehen die Chatbots dabei aber anders vor als wir Menschen. Transformers tun sich laut Dziri insbesondere mit Aufgaben schwer, die mehrstufiges logisches Denken erfordern.

Ein gutes Beispiel ist das Zebra-Rätsel. Bei diesem Logikpuzzle muss man unvollständige Hinweise kombinieren, um zur richtigen Antwort zu gelangen. Es geht beispielsweise um Häuser mit verschiedenen Farben, in denen jeweils Menschen mit unterschiedlichen Nationalitäten, Lieblingsessen und -getränken sowie Haustieren wohnen, darunter ein Zebra. Die Frage ist: Zu welchem Haus gehört das Zebra?

Menschen lösen das Rätsel, indem sie in einer Tabelle die Attribute den einzelnen Häusern zuordnen. Dziri zeigte, dass Transformer-KI bis zu GPT-4 daran scheitert. Wenn das Rätsel vier Häuser mit je vier Attributen (etwa Farbe, Sprache der Bewohner, Lieblingsessen und Haustier) umfasste, lag die KI nur in 10 Prozent der Fälle richtig. Bei fünf Häusern und fünf Attributen war die Antwort immer falsch.

Lesestoff für 20 000 Jahre

Ein Team von der University of California Berkeley bewies daraufhin mathematisch, dass solche Aufgaben die Transformers grundsätzlich überfordern. Es helfe auch nicht, immer grössere KI-Modelle mit immer mehr Daten zu trainieren. Wenn das Rätsel wieder komplexer werde – durch mehr Häuser oder mehr Attribute –, komme die KI nicht mehr nach.

Ähnliche Schwächen der Transformers treten auch bei Rechenaufgaben auf, wo sich kleine Fehler über mehrere Schritte hinweg summieren und zu falschen Endergebnissen führen.

Einfachstes Beispiel: die Multiplikation. Wenn ein Mensch gelernt hat, eine dreistellige Zahl mit einer vierstelligen Zahl zu multiplizieren, kann er die gleiche Methode mühelos auf die Multiplikation von zehnstelligen Zahlen anwenden. Transformers hingegen lernen kein allgemeines Verfahren für die Multiplikation. Selbst dann nicht, wenn sie Millionen von Multiplikationsaufgaben in ihren Trainingsdaten gesehen haben.

Für Dziri zeigt das einen grundlegenden Unterschied zur menschlichen Intelligenz. «Die Datensätze, mit denen Transformers trainiert werden, sind so gross, dass ein Mensch 20 ooo Jahre brauchen würde, alles zu lesen», sagt sie. Der Mensch lerne viel effizienter.

Mangelnde Fähigkeit zur Selbstkritik

Michael Hahn forscht als Professor an der Universität des Saarlands in Saarbrücken ebenfalls zu den Grenzen der Transformer-Architektur. Dass die Transformer-KI nicht zuverlässig arbeite, schafft in seinen Augen ein Vertrauensproblem. Denn sie könne nicht unterscheiden, welche Aufgaben sie lösen könne und welche nicht. Eine Antwort gebe sie trotzdem immer.

Hahn bemerkt, dass sich Transformers um Tools erweitern liessen, die das Rechnen und andere Aufgaben übernähmen. Mittlerweile löst Chat-GPT tatsächlich Multiplikationsaufgaben dadurch, dass er ein externes Computerprogramm aufruft.

Eine andere Möglichkeit wäre, die Transformers mit etwas wie der Fähigkeit zur Selbstkritik auszustatten. «Man kann versuchen, die Modelle zu trainieren, ihre eigenen Limitationen besser zu erkennen und dann nur Aussagen zu machen, die sie auch untermauern können. Das erweist sich aber immer noch als recht schwer», sagt der Informatiker.

KI kann nicht planen

Das mangelnde «Bewusstsein» von KI für die eigenen Schwächen zeigen auch Untersuchungen von Subbarao Khambhampati von der Arizona State University. Mit Kollegen nahm er die Planungsfähigkeit von Transformers unter die Lupe. Dafür schaute er den führenden KI-Modellen beim Blöckestapeln zu.

Das Spiel ist einfach: Die KI bekommt ein Ausgangs- und ein Zielbild mit unterschiedlich gestapelten Blöcken. Mitgeliefert werden die Regeln, wie die Blöcke bewegt werden dürfen. So darf bei jedem Zug nur ein Block verschoben werden. Ein Block darf wiederum nicht bewegt werden, wenn auf ihm ein anderer Block liegt.

Um zum Zielbild zu gelangen, muss die KI planen, in welcher Reihenfolge die Blöcke zu verschieben sind. Ältere, auf Transformers basierende Sprach-KI scheitert an der scheinbar simplen Aufgabe kläglich. Doch als Open AI Ende 2024 mit 01 ein erstes Modell vorlegte, das das schrittweise logische Denken der Menschen simuliert, staunten Khambhampati und seine Mitstreiter darüber, wie viel besser das neue Modell beim Stapeln war.

Doch dann dachten sich die Forscher noch schwierigere Aufgaben aus. Diesmal war die Anzahl Blöcke grösser; die Lösung setzte deshalb mehr Schritte voraus. Bei mehr als 20 Planungsschritten brach die Trefferquote auch für das neue Modell o1 ein. Sie lag praktisch bei null.

Überfordert war o1 auch, als die Forscher ihm bewusst unlösbare Aufgaben stellten. Das Modell generierte auch dann einen Lösungsplan, der natürlich falsch war. Andere Aufgaben, die tatsächlich lösbar waren, stufte o1 hingegen zu Unrecht als unlösbar ein.

Wie teuer darf Intelligenz sein?

Den Forschern fiel zudem auf, dass o1 zwar häufiger als frühere Open-AI-Modelle zielführende Pläne generierte, dies aber nur zu viel höheren Kosten erreichte. In US-Dollar umgerechnet, war ein Plan von o1 20-mal so teuer wie jener bei den älteren GPT-4-Modellen.

Ob KI effizient «logisch denken» kann, interessiert auch François Chollet. Der in den USA tätige Franzose ist in KI-Kreisen dafür bekannt, dass er 2019 mit ARC-AGI einen der härtesten Tests zur Messung der sogenannten fluiden Intelligenz von KI-Modellen schuf. Als fluide Intelligenz bezeichnen Psychologen die Fähigkeit, noch nie zuvor gesehene Probleme durch logisches Denken zu lösen.

Der ARC-AGI-Test besteht aus visuellen Rätseln, für deren Lösung kein Fachwissen erforderlich ist. Bis Ende 2024 fielen praktisch alle KI-Modelle durch die erste Version des Tests. Das beste Modell löste gerade einmal 5 Prozent der Aufgaben richtig. Doch mit seinem zweiten «logisch denkenden» Modell o3, dem Nachfolger von o1, stürmte Open AI plötzlich an die Spitze des ARC-AGI-Rankings.

Eine zulässige Variante von o3 knackte drei Viertel der Rätsel. Eine mit viel höherem Rechenaufwand verbundene und deshalb disqualifizierte Abwandlung des Modells erzielte sogar eine Trefferquote von 87,5 Prozent. Das entfachte eine Debatte darüber, ob mit o3 bereits die vielbeschworene AGI – also allgemeine künstliche Intelligenz – erreicht sei.

Neuer Test zeigt KI die Grenzen auf

Doch Chollet war noch nicht überzeugt. Er kündigte eine zweite, noch schwierigere Version seines Tests an. Diese würde auch für o3 zu schwierig sein, prophezeite er.

Ende März war es so weit. Und Chollet behielt recht. In Version 2 von ARC-AGI schnitten fast alle getesteten KI-Modelle mit je rund 1 Prozent Trefferquote deutlich schlechter ab als menschliche Prüflinge, die im Durchschnitt 60 Prozent der Rätsel lösen konnten.

Die Diskussion darüber, ob AGI bereits in absehbarer Zeit Realität werde, dürfte sich also noch eine Weile hinziehen. Für Nouha Dziri ist der Begriff AGI ohnehin schwer zu definieren. Manche würden behaupten, dass menschenähnliche Intelligenz bereits heute erreicht sei. Schliesslich könne eine einzige KI heute schon in so vielen verschiedenen Bereichen Fragen beantworten, auf die kein Mensch eine Antwort wüsste.

«Für mich bedeutet AGI weit mehr als das – eine Maschine, die auch komplexe gesellschaftliche Probleme wie den Klimawandel, Kriege und Ungleichheit lösen kann», sagt Dziri. Eine allgemeine künstliche Intelligenz sollte ihrer Ansicht nach auch in der Lage sein, das menschliche Wissen auszuweiten. «Nach dieser Definition ist AGI noch in weiter Ferne und mit der heutigen Transformer-Architektur unerreichbar.»

Ein Artikel aus der «»