Zurück

"Wenn die Größe keine Rolle spielt": Die Revolution des HRM-Modells

von Dario Ferrero (VerbaniaNotizie.it)

Die größte Revolution in der künstlichen Intelligenz der letzten Jahre kommt nicht aus den Laboren von OpenAI oder Google, sondern von einem kleinen Startup aus Singapur namens Sapient Intelligence.

Der Protagonist dieser Geschichte heißt Hierarchical Reasoning Model (HRM), ein KI-Agent, der die Grundfesten der gesamten Branche mit einem scheinbar unmöglichen Versprechen erschüttert: besser zu schlussfolgern als die KI-Giganten, und das mit einem Bruchteil ihrer Ressourcen.

Es handelt sich nicht um das übliche, bis ins Unermessliche vergrößerte Sprachmodell oder um eine weitere Variation des Transformer-Themas. HRM ist anders aufgebaut, direkt inspiriert von der Funktionsweise des menschlichen Gehirns, und die Ergebnisse, die es erzielt, sind, gelinde gesagt, erstaunlich. Dieses Modell mit nur 27 Millionen Parametern, weniger als ein Viertel des ersten GPT, übertrifft systematisch Modelle, die viermal größer sind, bei komplexen Schlussfolgerungsaufgaben. Als ob das nicht genug wäre, wird es mit nur tausend Beispielen pro Problem trainiert, während seine Gegner Datenberge und monatelange Verarbeitung auf den leistungsstärksten Servern der Welt benötigen.

Aber die wahre Magie von HRM liegt nicht in seiner geringen Größe oder seiner Trainingseffizienz. Seine Innovation besteht darin, dass es sich nicht darauf beschränkt, Informationen zu verarbeiten, wie es alle anderen tun: Es schlussfolgert wirklich und ahmt menschliche kognitive Prozesse auf eine Weise nach, die bis vor wenigen Monaten wie Science-Fiction erschien. Und die Ergebnisse sprechen für sich: Wo andere Modelle komplett versagen, brilliert HRM mit einer Natürlichkeit, die eher an ein denkendes Gehirn als an eine Rechenmaschine erinnert.

Wenn die Gedankenkette reißt

Um die Bedeutung der von HRM herbeigeführten Revolution zu verstehen, müssen wir zunächst verstehen, wie aktuelle künstliche Intelligenzmodelle funktionieren und warum ihre Grenzen immer deutlicher werden. ChatGPT, Claude, Gemini und all ihre großen Brüder basieren auf einer Technik namens "Chain of Thought" oder Gedankenkette, einem Ansatz, der vielversprechend klingt, aber tiefgreifende strukturelle Schwächen verbirgt.

Stellen Sie sich vor, Sie müssten ein komplexes mathematisches Problem lösen, indem Sie jeden Schritt mit einem unauslöschlichen Stift aufschreiben, ohne jemals zurückgehen zu können, um das Geschriebene zu überprüfen oder zu korrigieren. Genau so funktionieren die aktuellen Modelle: Sie führen sich Schritt für Schritt durch ein Problem, fast so, als würden sie laut "mit sich selbst sprechen", aber wenn sie auch nur einen kleinen Fehler in dieser Kette machen, kann die gesamte Antwort wie ein Kartenhaus zusammenbrechen.

Wie die Forscher von Sapient Intelligence in ihrem wissenschaftlichen Papier erklären, "ist die Gedankenkette für das Schlussfolgern eine Krücke, keine zufriedenstellende Lösung. Sie basiert auf fragilen, vom Menschen definierten Zerlegungen, bei denen ein einziger Fehltritt oder eine Unordnung der Schritte den gesamten Denkprozess vollständig entgleisen lassen kann."

Das Problem ist noch tiefer, als es scheint. Modelle, die auf Transformern basieren, der Architektur, die die moderne KI dominiert, führen immer die gleiche Menge an "Denkarbeit" aus, unabhängig von der Schwierigkeit der Frage. Es ist, als ob ein Detektiv genau die gleiche Zeit und die gleichen Ressourcen aufwenden müsste, um sowohl einen Fahrraddiebstahl als auch einen komplizierten Mordfall zu lösen. Sie können nicht sagen: "Das ist schwierig, ich brauche mehr Zeit zum Nachdenken", und sie können ihre Überlegungen nicht überprüfen, sobald sie mit der Generierung der Antwort begonnen haben.

Diese Starrheit hat enorme praktische Konsequenzen. Aktuelle Modelle sind gezwungen, jeden Denkprozess in explizite Sprache zu übersetzen, was zu langen, langsamen und oft redundanten Antworten führt. Schlimmer noch, diese Abhängigkeit von der Sprache macht sie anfällig für Kaskadenfehler: Wenn sie einen Zwischenschritt falsch machen, ist alles, was folgt, kompromittiert, unabhängig davon, wie korrekt ihre grundlegenden Denkfähigkeiten auch sein mögen.

Die Architektur, die das Gehirn nachahmt

HRM bricht vollständig mit diesem Paradigma und verfolgt einen radikal anderen Ansatz, den seine Schöpfer als "vom Gehirn inspiriert" beschreiben. Dies ist keine oberflächliche Metapher oder Marketing: Die Architektur von HRM entlehnt direkt die mehrschichtige Entscheidungsstrategie des menschlichen Gehirns und wendet sie mit Ergebnissen auf die künstliche Intelligenz an, die neu definieren, was im Bereich des maschinellen Lernens möglich ist.

Im Herzen von HRM arbeiten zwei Komponenten im Tandem wie ein perfekt koordiniertes Duo. Die erste ist ein übergeordneter Planer, den man sich als das "langsame strategische Gehirn" vorstellen kann, das das Gesamtbild betrachtet, die Art des zu lösenden Problems identifiziert und eine allgemeine Karte des Vorgehens entwirft. Die zweite ist ein untergeordneter Ausführer, der "schnelle Prozessor", der die Befehle des Planers entgegennimmt und sie mit Präzision und Geschwindigkeit ausführt.

Die treffendste Analogie ist die eines Schachmeisters, der mit einem unglaublich effizienten Assistenten zusammenarbeitet. Der Meister studiert das Schachbrett, plant die allgemeine Strategie und entscheidet, welchen Zug er machen soll, während der Assistent den Zug physisch mit millimetergenauer Präzision ausführt. Aber hier wird die Ähnlichkeit noch interessanter: Die beiden beschränken sich nicht auf einen einzigen Informationsaustausch, sondern führen während der gesamten Problemlösung einen kontinuierlichen Dialog.

Dies ist der Kern der Innovation von HRM: die hierarchische Denkschleife. Das übergeordnete Modul entwickelt einen strategischen Plan und übergibt ihn an das untergeordnete Modul, das ihn ausführt und die Ergebnisse zurückmeldet. An diesem Punkt analysiert das übergeordnete Modul, was passiert ist, aktualisiert seine Strategie auf der Grundlage der neuen Daten und stellt dem untergeordneten Modul ein neues, verfeinertes Teilproblem zur Bearbeitung zur Verfügung. Dieser "Ping-Pong-Austausch" setzt sich in iterativen Zyklen fort, bis das Modell zur optimalen Lösung konvergiert.

Das Schöne an diesem Ansatz ist, dass HRM sein eigenes Denken intern kontrollieren und verfeinern kann, während es das Problem noch verarbeitet – eine Fähigkeit, die die überwiegende Mehrheit der anderen Modelle einfach nicht besitzt. Es ist, als ob Ihnen jemand, während Sie dieses mathematische Problem mit dem unauslöschlichen Stift lösen, plötzlich erlaubt, jeden Schritt zu löschen, neu zu schreiben und zu überdenken, bis Sie absolut sicher sind, die Lösung gefunden zu haben.

Aber es gibt noch mehr. Die fortschrittlichste Version von HRM nutzt verstärkendes Lernen, um autonom zu entscheiden, wie viele Iterationen für jede Art von Aufgabe erforderlich sind, was es der flexiblen menschlichen Denkweise noch ähnlicher macht. Genauso wie wir komplexen Problemen mehr Zeit und geistige Energie widmen als einfachen, lernt HRM, seine Denkzyklen an die intrinsische Schwierigkeit des Problems anzupassen, dem es gegenübersteht. Bild von Sapient.inc HRM

David gegen Goliath: Die Zahlen, die schockieren

Die von HRM auf den schwierigsten Reasoning-Benchmarks erzielten Ergebnisse sind die Art von Zahlen, die selbst die skeptischsten Experten der Branche die Augenbrauen hochziehen lassen. Wir sprechen von einem Modell mit nur 27 Millionen Parametern, das nicht nur mit Giganten mit Milliarden von Parametern konkurriert, sondern sie systematisch bei Aufgaben übertrifft, die tiefes und abstraktes Denken erfordern.

Auf dem ARC-AGI-Benchmark, der als einer der zuverlässigsten Tests zur Messung der abstrakten Denk- und Generalisierungsfähigkeiten künstlicher Intelligenz gilt, erreichte HRM eine Punktzahl von 40,3 % und übertraf damit weitaus größere Modelle wie o3-mini-high von OpenAI (34,5 %) und Claude 3.7 Sonnet (21,2 %). Es handelt sich nicht um kleine, statistisch unbedeutende Unterschiede: Wir sprechen von erheblichen Leistungsunterschieden, die in der Welt der KI Generationssprüngen gleichkommen.

Aber bei den extremsten Denkaufgaben zeigt HRM wirklich seine architektonische Überlegenheit. Bei Sudoku-Tests auf extremem Niveau und in komplexen Labyrinthen werden die Unterschiede gewaltig. HRM löste 55 % der schwierigsten Sudokus, während die auf der Gedankenkette basierenden Modelle eine glatte 0 % erreichten. Dasselbe Ergebnis bei 30x30-Gitterlabyrinthen: HRM fand in 74,5 % der Fälle den optimalen Weg, während seine Konkurrenten mit 0 % auf der Strecke blieben.

Es ist die KI-Version von Yodas Sprichwort: "Die Größe zählt nicht. Schau mich an. Beurteilst du mich nach meiner Größe?" Nur dass in diesem Fall die Macht die hierarchische Architektur ist und Luke Skywalker die Modelle mit Milliarden von Parametern sind, die immer wieder im Sumpf abstürzen.

Dies sind nicht nur Zahlen in einer Tabelle: Sie stellen den Unterschied dar zwischen einer künstlichen Intelligenz, die komplexe Probleme der realen Welt bewältigen kann, und einer, die bei Herausforderungen, die mehr als nur oberflächliches Denken erfordern, stecken bleibt. Es ist der Unterschied zwischen einem Assistenten, der Ihnen helfen kann, komplexe Entscheidungen zu treffen, und einem, der Ihnen höchstens helfen kann, eloquentere E-Mails zu schreiben.

Aber die vielleicht beeindruckendste Zahl von allen betrifft die Trainingseffizienz. Während traditionelle Sprachmodelle riesige Datensätze aus dem gesamten Internet und monatelange Verarbeitung auf den leistungsstärksten Supercomputern der Welt benötigen, wird HRM mit nur tausend Beispielen pro Aufgabe trainiert. Wie Guan Wang, einer der Gründer von Sapient Intelligence, erklärte, "könnte man es in zwei GPU-Stunden auf professionellem Niveau für Sudoku trainieren" – eine Effizienz, die er im besten Sinne des Wortes als "lächerlich" bezeichnet. Bild von Sapient.inc HRM

Jenseits der Benchmarks: Eine strukturelle Revolution

Die beeindruckenden Ergebnisse bei standardisierten Tests sind nur die Spitze des Eisbergs. Die wahre Revolution, die HRM mit sich bringt, liegt in seiner Fähigkeit, grundlegende strukturelle Probleme zu lösen, die die gesamte aktuelle Generation von auf Transformern basierenden Modellen plagen – Probleme, die bis vor kurzem als unvermeidlicher Teil der Landschaft der künstlichen Intelligenz erschienen.

Das erste und bedeutendste dieser Probleme ist die Speichereffizienz. Traditionelle Transformer sind notorisch ressourcenhungrig und benötigen enorme Mengen an Speicher, um zu funktionieren, und noch mehr, um trainiert zu werden. HRM hingegen verwendet lokalere Gradienten-Updates, die einfacher zu berechnen und "viel biologisch plausibler" sind und die berüchtigte "tiefe Rückwärtspropagation durch die Zeit" vermeiden, die speicherintensiv und rechenaufwendig ist.

Diese Speichereffizienz ist keine bloße inkrementelle Verbesserung: Es ist ein Paradigmenwechsel, der völlig neue Szenarien eröffnet. Weniger Speicher bedeutet, mehr Modelle gleichzeitig auf derselben Hardware ausführen zu können, schneller mit weniger Ressourcen zu trainieren und vor allem fortschrittliche künstliche Intelligenz auf Geräte zu bringen, die bis gestern undenkbar waren. Wir sprechen von gewöhnlichen Laptops, Edge-Geräten, Robotern und sogar Autos – alles Orte, an denen KI autonom arbeiten könnte, ohne von ständigen Internetverbindungen oder entfernten Servern abhängig zu sein.

Das Unternehmen Sapient testet HRM bereits in realen Anwendungen, die diese Vielseitigkeit demonstrieren. Im Gesundheitswesen wird das Modell zur Unterstützung der Diagnose seltener Krankheiten eingesetzt, jener komplexen Pathologien, die genau die Art von tiefem und nuanciertem Denken erfordern, in dem HRM brilliert. Bei saisonalen Klimavorhersagen hat es eine Genauigkeit von 97 % erreicht, ein Ergebnis, das in der Welt der Meteorologie fast an Science-Fiction grenzt.

Aber der vielleicht ermutigendste Aspekt von HRM ist das Team dahinter. Es handelt sich nicht um unbekannte Forscher, die in einer Garage arbeiten: Die Gruppe umfasst ehemalige Ingenieure von DeepMind, Anthropic, DeepSeek und sogar der XAI-Gruppe von Elon Musk. Es sind Menschen, die jahrelang an der Spitze der künstlichen Intelligenz gearbeitet haben und nun alles auf das vom Gehirn inspirierte Design von HRM setzen. Wenn Fachleute dieses Kalibers die Sicherheiten der großen Technologiekonzerne aufgeben, um eine alternative Vision zu verfolgen, sollte man aufhorchen.

Guan Wang, der CEO und Gründer von Sapient Intelligence, nimmt kein Blatt vor den Mund, wenn er über die Zukunft der künstlichen Intelligenz spricht. Seine Vision ist, dass AGI, die allgemeine künstliche Intelligenz, darin besteht, Maschinen eine Intelligenz auf menschlichem Niveau und darüber hinaus zu verleihen. Und laut Wang ist die Gedankenkette nur eine "Abkürzung", während das, was sie gebaut haben, im wahrsten Sinne des Wortes "denken kann".

Open Source und Transparenz: Ein Geschenk an die Gemeinschaft

In einer Zeit, in der große KI-Labore dazu neigen, ihre fortschrittlichsten Modelle immer strenger als Geschäftsgeheimnisse zu hüten, ist die Entscheidung von Sapient Intelligence, HRM vollständig Open Source zu machen, ein fast revolutionärer Akt der Transparenz. Das gesamte Projekt ist auf GitHub verfügbar und ermöglicht es jedem auf der Welt, es zu überprüfen, eine eigene Version zu trainieren, es zu modifizieren oder darauf aufzubauen. Dieses Maß an Offenheit ist selten für eine so vielversprechende und strategisch wichtige Innovation.

Natürlich hat HRM noch Grenzen, die seine Schöpfer offen anerkennen. Vorerst hat das Modell einen engeren Fokus als die großen, generalistischen Sprachmodelle: Es ist zum Schlussfolgern gebaut, nicht um freundlich zu plaudern oder romantische Gedichte zu schreiben. Aber gerade diese Spezialisierung macht es in seinem Bereich so leistungsstark. Es ist einer der stärksten Beweise, die die Branche je gesehen hat, dass die Zukunft der KI möglicherweise nicht in immer größeren und allgemeineren Modellen liegt, sondern in intelligenteren und spezialisierteren Architekturen.

HRM ist nicht das einzige Experiment dieser Art, das derzeit läuft. Die KI-Forschungslandschaft erlebt einen Moment kreativer Gärung, in dem Teams auf der ganzen Welt alternative Architekturen zu den dominanten Transformern erforschen. Es gibt Sakana mit ihren Maschinen mit kontinuierlichem Denken, die 1-Bit-LLM-Modelle, die extreme Effizienz versprechen, und die auf Diffusion basierenden Denkmodelle von Google. Aber es gibt einen entscheidenden Unterschied: HRM "funktioniert bereits" und übertrifft weitaus größere Modelle mit einem Bruchteil der Trainingsdaten und ohne die Notwendigkeit eines massiven Vortrainings.

Dies deutet darauf hin, dass wir einen grundlegenden Paradigmenwechsel erleben. Der nächste große Sprung in der künstlichen Intelligenz wird wahrscheinlich kein weiterer "skalierter GPT-Klon" mit noch gigantischeren Ausmaßen sein, sondern etwas Ähnliches wie HRM: eine neue Architektur, die besseres Denken, schnelleres Training und eine kostengünstigere Implementierung mit sich bringt, und das alles ohne die Notwendigkeit von Rechenzentren voller GPUs, die den Strom ganzer Städte verbrauchen.

Die Zukunft, die wirklich denkt

Wenn wir nach vorne blicken, ist die Vision, die sich aus der Arbeit von HRM ergibt, die einer Zukunft, in der künstliche Intelligenz nicht mehr auf die Rechenzentren großer Technologiekonzerne beschränkt ist, sondern zu einer allgegenwärtigen und zugänglichen Präsenz in unserem täglichen Leben wird. Stellen Sie sich KI-Agenten vor, die in unseren Laptops, Haushaltsrobotern, Autos und sogar in tragbaren Geräten leben und alle zu anspruchsvollem Denken fähig sind, ohne von ständigen Internetverbindungen oder teuren entfernten Servern abhängig zu sein.

Diese Demokratisierung der fortschrittlichen künstlichen Intelligenz könnte tiefgreifende Auswirkungen darauf haben, wie wir arbeiten, lernen und Probleme lösen. Ein Arzt in einer ländlichen Klinik könnte Zugang zu denselben fortschrittlichen Diagnosewerkzeugen haben wie ein städtisches Krankenhaus. Ein Ingenieur, der auf einer abgelegenen Baustelle arbeitet, könnte komplexe strukturelle Analysen in Echtzeit erhalten. Ein Forscher in einem Labor mit begrenztem Budget könnte komplexe wissenschaftliche Hypothesen untersuchen, ohne um den Zugang zu Supercomputern konkurrieren zu müssen.

Aber der vielleicht faszinierendste Aspekt von allen ist die Idee, dass diese KI-Agenten sich nicht mehr darauf beschränken werden, mit dem Internet zu "sprechen" oder anderswo verarbeitete Informationen wiederzugeben. Sie werden anfangen, im tiefsten Sinne des Wortes "wirklich zu denken", originelle Lösungen zu entwickeln, kreative Hypothesen zu formulieren und vielleicht sogar Einsichten zu entwickeln, die wir Menschen nie in Betracht gezogen hätten.

Wie jede technologische Revolution wird auch diese Transformation neue Herausforderungen und ethische Fragen mit sich bringen, denen wir uns stellen müssen. Aber wenn HRM und ähnliche Architekturen ihre Versprechen halten, könnten wir an der Schwelle zu einer Ära stehen, in der künstliche Intelligenz endlich das wird, was ihr Name verspricht: nicht nur ein ausgeklügeltes Informationsverarbeitungssystem, sondern ein echter intellektueller Partner, der zu autonomem und kreativem Denken fähig ist.

Wie Tony Stark sagen würde, ist die beste Lösung manchmal nicht, eine größere Rüstung zu bauen, sondern sie intelligenter zu bauen. Und HRM könnte den Weg gefunden haben, rohe Rechenleistung durch etwas viel Eleganteres und Effizienteres zu ersetzen.

Der Weg ist noch lang und voller Ungewissheiten, aber eines ist sicher: Das kleine Modell mit 27 Millionen Parametern, das in einem Startup in Singapur entwickelt wurde, hat bereits gezeigt, dass in der Welt der künstlichen Intelligenz, wie so oft in der Wissenschaft, Qualität tatsächlich Quantität schlagen kann. Und vielleicht, genau wie in den besten David-gegen-Goliath-Geschichten, ist es der Kleinste, der uns den Weg in die Zukunft weist.