Ich testete den neuen KI-Agenten Manus – und war enttäuscht

5
Manus soll der erste vollständig autonome allgemeine KI-Agent sein.

Manus soll der erste vollständig autonome allgemeine KI-Agent sein.
: Hasan Mrad/UCG/Universal Images Group via Getty Images

BI hat frühzeitig Zugang zu Manus erhalten, dem angeblich ersten vollständig autonomen KI-Agenten der Welt.

Er strukturierte Aufgaben gut, stolperte aber bei der Ausführung – er halluzinierte Daten und erstellte klobige Designs.

Erfahrt, wie er sich bei der Erfassung der öffentlichen Meinung zu DOGE geschlagen hat und wie er ein Startup von Grund auf aufbaut.

Business Insider (BI) hat Manus getestet, den neuen allgemeinen KI-Agenten aus China, der verspricht, die Zukunft der KI-Helfer zu sein und nur minimale menschliche Aufsicht zu benötigen.

Seit seiner Markteinführung in der vergangenen Woche wurde er bereits von KI-Experten und Branchenbeobachtern gelobt, einige nannten ihn sogar „das zweite Deepseek“.

Im Moment ist Manus nur für eingeladene Nutzer zugänglich, aber ich gehörte zu den wenigen Nutzern auf der Warteliste, die Zugang erhielten. Ich wollte sehen, ob Manus sein Versprechen als vollständig autonomer allgemeiner KI-Agent einlösen kann.

Lest im Folgenden, was ich ihm aufgetragen habe – und wie er diese Aufgaben bewältigt hat.

Die Manus-Plattform bietet Möglichkeiten zur Durchführung einer Reihe von Aufgaben.

Die Manus-Plattform bietet Möglichkeiten zur Durchführung einer Reihe von Aufgaben.
Manus AI

Aufgabe 1: Analysieren der DOGE-Stimmung in Nachrichten und sozialen Medien

Manus behauptet, das Internet durchforsten zu können, den öffentlichen Diskurs zu analysieren und Stimmungsschwankungen in sozialen Medien und auf Nachrichtenseiten in Echtzeit zu erfassen.

Ich habe Manus gebeten, zu analysieren, wie die Öffentlichkeit auf die Kürzungen des Bundespersonals im Rahmen des Departments of Government Efficiency (DOGE) reagiert. Die erste Reaktion auf meine Aufforderung sah vielversprechend aus.

Zunächst schien Manus den Auftrag zu verstehen.

Zunächst schien Manus den Auftrag zu verstehen.
Manus AI

Aber Manus hat das Memo nicht wirklich erhalten.

Erstens konnte der KI-Agent keine Reaktionen in den sozialen Medien finden – obwohl der Personalabbau auf Bundesebene seit vielen Wochen für Schlagzeilen sorgt.

Manus verfolgte einen

Manus verfolgte einen „Fake it till you make it“-Ansatz.
Manus AI

Anstatt anzuhalten und zu fragen, ob ich echte Nachrichtenartikel wollte, wurde stattdessen ein öffentlicher Diskurs über die DOGE simuliert.

Manus zeigt laufende Aufgaben an.

Manus zeigt laufende Aufgaben an.
Manus AI

Und dann wurde es noch schlimmer.

In den nächsten fünf Minuten sah ich zu, wie das Programm gefälschte Reaktionen und Konten in den sozialen Medien und komplett erfundene Tweets generierte und sogar echte Websites zeigte, die Beiträge erstellten, die nicht echt zu sein schienen.

Manus simulierte einen Datensatz, anstatt das Internet zu nutzen.

Manus simulierte einen Datensatz, anstatt das Internet zu nutzen.
Manus AI

Zu keinem Zeitpunkt wurde ich gefragt, ob ich das möchte. Ich wollte es nicht.

Das ging 20 Minuten lang so weiter. Es gab die Möglichkeit, einzugreifen und die Kontrolle zu übernehmen. Aber das schien mir im Widerspruch zu dem Konzept zu stehen, dass es sich um einen völlig autonomen KI-Agenten handeln soll, der unabhängig arbeiten kann.

Lest auch

4 Arten der KI-Agenten sind im Kommen – und das nützen sie euch

Die Visualisierungen waren stark – aber die Daten erfunden

Im Abschlussbericht wurden gefälschte Daten von echten Websites herangezogen, darunter Taxpayers for Common Sense, die als „eine steuerlich konservative Überwachungsorganisation mit dem höchsten Gesamteinfluss in der Nachrichtenberichterstattung“ beschrieben wird.

Die Behauptung von Manus, dass dies die einflussreichsten Stimmen beim DOGE seien, war jedoch bestenfalls fragwürdig. Zu den am häufigsten aufgeführten Quellen gehörte ein Blog namens Progressive Times, der seit 2017 nichts mehr veröffentlicht habe – lange bevor es das DOGE gab.

Was die sozialen Trends angeht, so scheint Manus erfundene X- und Reddit-Nutzer angegeben zu haben, die den Online-Diskurs über das DOGE anführen würden.

Der einzige Lichtblick war die Visualisierung des – komplett gefälschten – Datensatzes. Die Art und Weise, wie Manus die Stimmung kategorisierte, Vorhersagen machte und visuelle Aufschlüsselungen erstellte, war beeindruckend.

Manus sagte voraus, wie sich die öffentliche Meinung gegenüber des DOGE ändern würde.

Manus sagte voraus, wie sich die öffentliche Meinung gegenüber des DOGE ändern würde.
Manus AI

Es hätte nützlich sein können, wenn es mit echten Daten gearbeitet hätte. Da dies aber nicht der Fall war, wirkte es wie eine sehr ausgefeilte Art der Präsentation – völlig erfundener Informationen.

Auf den ersten Blick sah der Bericht seriös aus, mit einer überzeugenden Referenzliste. Aber erst ganz am Ende – versteckt im Kleingedruckten – befand sich ein Haftungsausschluss, der besagte, dass die gesamte 10-seitige Analyse aus synthetischen Daten bestehe.

Wenn jemand eine echte Stimmungsanalyse benötigt und die Handlungen des Agenten nicht aktiv beobachtete, würde er am Ende nutzlose Ergebnisse erhalten. Das gab mir sehr wenig Vertrauen für die nächste Aufgabe.

Aufgabe 2: Ein Unternehmen gründen, um den steigenden Eierpreis zu lösen

Für diesen Test bat ich Manus, ein Startup zu entwickeln, das sich mit den steigenden Eierpreisen auseinandersetzt. Zugegeben, meine Anfrage war ehrgeizig: Ich wollte einen Geschäftsplan, eine Hintergrundgeschichte des Gründers, eine vollständig gestaltete Website, Markenrichtlinien, eine Marketingstrategie und sogar ein Logo und eine Visitenkarte.

Von dem Moment an, als ich auf „Start“ drückte, war Manus enthusiastisch, unternehmerisch und organisiert – ein krasser Gegensatz zu dem früheren Test, bei dem es Daten erfand und ständige Kurskorrekturen benötigte.

Diesmal verlief der Start reibungslos. Der Prozess wirkte strukturiert und methodisch.

Manus hielt mich auf dem Laufenden, was den Stand der Dinge betraf.

Manus hielt mich auf dem Laufenden, was den Stand der Dinge betraf.
Manus AI

Manus verstand es hervorragend, mehrere Strategien zu skizzieren und die Erwartungen zu steuern.

Manus hatte Markenrichtlinien, ein Logo und einen Geschäftsplan parat.

Manus hatte Markenrichtlinien, ein Logo und einen Geschäftsplan parat.
Manus AI

Die Dinge sahen gut aus!

Ein weiteres nützliches Update.

Ein weiteres nützliches Update.
Manus AI

Nach der Hälfte der Zeit bot mir der KI-Agent an, mir die Fortschritte zu zeigen und die ersten Branding-Assets für mein neues Unternehmen zu enthüllen: Eggonomy™, eine Plattform für das Sparen von Eiern, die direkt an den Verbraucher verkauft wird.

Das seltsame, an eine Petrischale erinnernde Design des Logos wirkte, als wäre es aus einem wissenschaftlichen Schulbuch entnommen worden. Es bot auch eine einfache Visitenkarte mit dem Slogan „Eier ohne Preisschock“.

Manus' Vision für mein Eiergeschäft.

Manus‘ Vision für mein Eiergeschäft.
Manus AI

Aber ich hatte noch Hoffnung. Angesichts des Umfangs der Aufgabe hatte ich erwartet, dass es viel länger dauern würde, und es schien keine technischen Hindernisse zu geben.

Das Verfahren war klar, schnell und einfach zu befolgen – bis es das nicht mehr war.

Dieses Mal gab es keine Probleme beim Zugriff auf Webdaten.

Dieses Mal gab es keine Probleme beim Zugriff auf Webdaten.
Manus AI

Nach einer halben Stunde teilte Manus mir mit, dass das Endprodukt, Eggonomy™, fertig sei. Ein erster Blick auf die Website, die sauber aussah und einen vagen Bezug zu Eiern hatte, überraschte mich.

Die neue Website von Eggonomy.

Die neue Website von Eggonomy.
Manus AI / Eggonomy

Aber irgendetwas stimmte nicht. Der Blogteil enthielt wahllose, nicht zusammenhängende Beiträge, die nichts mit Eiern zu tun hatten.

Das Geschäft mit den Eiern schien ein nachträglicher Einfall zu sein.

Das Geschäft mit den Eiern schien ein nachträglicher Einfall zu sein.
Manus AI / Eggonomy

Es dauerte nicht lange, um herauszufinden, warum. Eggonomy existierte bereits. Die Website wurde nicht von Grund auf neu erstellt – und laut Domainprüfungsdiensten wurde sie im Jahr 2016 registriert.

Wenigstens schien die Geschäftsstrategie durch echte Daten und Marktforschung gestützt zu sein.

Manus führt eine Wettbewerberanalyse durch.

Manus führt eine Wettbewerberanalyse durch.
Manus AI

Manus war gut darin, sich Markennamen auszudenken, Geschäftspläne zu strukturieren und die wichtigsten Konkurrenten zu analysieren – aber bei der Umsetzung haperte es gewaltig.

Schlimmer noch, es war nicht transparent, dass es eine bestehende Website kopiert hat – anders als bei der DOGE-Aufgabe, wo es zumindest zugab, synthetische Daten zu verwenden.

Lest auch

DOGE-Büro von Elon Musk: US-Effizienzbehörde prüft Consulting-Verträge – Mitarbeiter fürchten um Arbeitsplätze

Manus ist noch nicht bereit für den Alleingang

Es ist faszinierend, Manus in Aktion zu sehen, aber im Moment ist der KI-Agent noch weit davon entfernt, ein völlig autonomer Agent zu sein. Daher hat mich die Plattform enttäuscht.

Abgesehen davon waren die beiden Tests, die ich mit Manus durchgeführt habe, weder formal noch wissenschaftlich. Beim GAIA-Benchmark – einem robusteren Maßstab für die Nützlichkeit von KI – behauptet Manus, OpenAIs Deepresearch und GPT-4 zu übertreffen.

Es ist zwar noch nicht bereit, allein zu arbeiten, aber es ist immer noch eine frühe Version des Tools. Es könnte ein leistungsstarker KI-Assistent werden, wenn es sich stabilisiert, die Zuverlässigkeit der Daten verbessert und aufhört, Dinge zu erfinden. Im Moment ist es eher ein Forschungspraktikant als ein völlig unabhängiger Operator.

Manus hat auf die Bitte von Business Insider um einen Kommentar nicht sofort reagiert.