Anthropic-Mitgründer Jared Kaplan betont, dass einfache Fragen in der KI-Entwicklung entscheidend sind.
Kaplan und sein Team entdecken durch naive Fragen das Skalierungsgesetz, das KI-Training revolutioniert.
Anthropic wird durch innovative Modelle wie Claude Sonnet 3.5 zum Vorreiter im KI-Coding.
Der Schlüssel zur Weiterentwicklung der Künstlichen Intelligenz (KI) liege nicht in der Komplexität, sondern darin, die offensichtlichen Dinge zu fragen, die niemand laut aussprechen möchte. Zu dieser Erkenntnis kommt der Anthropic-Mitgründer und CSO (Chief Science Officer) Jared Kaplan.
„Es sind wirklich sehr naive, dumme Fragen, die einen sehr weit bringen“, so der KI-Experte bei einer Y-Combinator-Veranstaltung im Juni. KI sei ein „unglaublich neues Feld“ und „viele der grundlegendsten Fragen“ bisher nicht beantwortet.
Die großen Fragen der KI-Forschung
So erinnerte Kaplan daran, wie in den 2010er Jahren alle in der Tech-Branche immer wieder sagten, dass „Big Data“ die Zukunft sei. Er fragte: Wie groß müssen die Daten sein? Wie viel helfen sie tatsächlich?
Diese Überlegungen führten ihn und sein Team schließlich dazu, zu untersuchen, ob sich die Leistung von KI anhand der Größe des Modells und der verwendeten Rechenleistung vorhersagen lässt – ein Durchbruch, der als Skalierungsgesetz bekannt wurde. Das Skalierungsgesetz in der Künstlichen Intelligenz besagt, dass die Leistungsfähigkeit von KI-Modellen systematisch mit zunehmender Modellgröße, Datenmenge und Rechenleistung verbessert werden kann.
„Wir hatten wirklich Glück. Wir haben herausgefunden, dass dem KI-Training tatsächlich etwas sehr, sehr, sehr Präzises und Überraschendes zugrunde liegt“, sagte er. „Diese Erkenntnis kam zustande, weil ich die dümmste aller Fragen gestellt habe.“
Kaplan fügte hinzu, dass er als Physiker genau dafür ausgebildet wurde. „Man schaut sich das große Ganze an und stellt wirklich dumme Fragen.“ Einfache Fragen können große Trends „so präzise wie möglich“ machen, und das könne einem eine Menge Werkzeuge in die Hand geben, sagte Kaplan. „So kann man fragen: Was bedeutet es wirklich, die Nadel zu bewegen?“
Die KI-Durchbrüche von Anthropic
Anthropic hat sich im Bereich der KI-gestützten Codierung zu einem Kraftpaket entwickelt, insbesondere nach der Veröffentlichung seines Modells Claude Sonnet 3.5 im Juni 2024. „Anthropic hat alles verändert“, sagte Quinn Slack von Sourcegraph in einem Gespräch mit BI.
„Wir haben sofort gesagt: ‚Dieses Modell ist besser als alles andere, was es da draußen gibt, was seine Fähigkeit angeht, Code in der Länge zu schreiben‘ – qualitativ hochwertiger Code, auf den ein Mensch stolz wäre“, fügte er hinzu. „Und wenn man als Startup nicht mit dieser Geschwindigkeit vorankommt, wird man aussterben.“
Ben Mann, Mitbegründer von Anthropic, sagte in einer Folge des „No Priors Podcast“, dass die Entwicklung von besserem und schnellerem KI-Code größtenteils auf Versuch, Irrtum und messbarem Feedback beruhe. „Manchmal weiß man es einfach nicht und muss Dinge ausprobieren“, sagte Mann.
Elad Gil, ein führender KI-Investor und Gastgeber von „No Priors“, pflichtete ihm bei und sagte, dass die klaren Signale, die sich aus dem Einsatz des Codes ergeben, diesen Prozess fruchtbar machen.
„Beim Programmieren hat man tatsächlich einen direkten Output, den man messen kann: Man kann den Code ausführen, man kann ihn testen“, sagte er. „Es gibt sozusagen eine eingebaute Nutzenfunktion, die man optimieren kann.
