Der KI-Co-Wissenschaftler von Google testet die Skalierung auf Steroiden. Was das für die Forschung bedeutet
Eine Adaption des Gemini-KI-Modells ist die neueste Verwendung einer wirklich intensiven Rechenaktivität zur Inferenzzeit statt während des Trainings, um das sogenannte Reasoning des KI-Modells zu verbessern. Und so funktioniert es.
Google gab am Mittwoch bekannt, dass es sein Angebot für künstliche Intelligenz Gemini 2.0 für große Sprachmodelle so angepasst hat, dass es in einem Bruchteil der Zeit, die Teams von menschlichen Laborforschern benötigen, neuartige wissenschaftliche Hypothesen generiert.
Das Unternehmen bezeichnet den auf Gemini aufbauenden "KI-Co-Wissenschaftler" als "vielversprechenden Fortschritt in Richtung KI-gestützter Technologien für Wissenschaftler, um Entdeckungen zu beschleunigen", und als ein Programm, das mit einem Menschen "in der Schleife" durchgeführt werden soll, um "als hilfreicher Assistent und Kollaborateur für Wissenschaftler zu fungieren und den wissenschaftlichen Entdeckungsprozess zu beschleunigen".
Es ist auch eine Demonstration dafür, wie sogenannte Reasoning-KI-Modelle jetzt den Einsatz von Rechenressourcen immer weiter vorantreiben, um Querverweise zu erstellen, zu bewerten, zu ordnen, zu sortieren, zu sichten und viele andere Dinge zu tun - alles, nachdem die Eingabeaufforderung vom Benutzer eingegeben wurde.
Der KI-Co-Wissenschaftler von Google soll einen "Menschen in der Schleife" haben, der die verschiedenen Vorgänge der Maschine steuert, wie z. B. die Literaturrecherche und die Hypothesenbildung.
In einer gewagten Mischung aus wissenschaftlichem Publizieren und Marketing veröffentlichten die Forscher von Google ein technisches Papier, das eine Hypothese beschreibt, die von einem Co-Wissenschaftler erstellt wurde, gleichzeitig mit einer Arbeit, die von einer Gruppe von Humanwissenschaftlern am Imperial College London mit der gleichen Hypothese veröffentlicht wurde.
Die Co-Wissenschaftler-Hypothese, die sich auf eine bestimmte Art und Weise bezieht, in der sich Bakterien zu neuen Krankheitserregern entwickeln, dauerte zwei Tage, während die vom Menschen produzierte Arbeit das Ergebnis eines Jahrzehnts der Studien- und Laborarbeit war, behauptet Google.
Maschine zur Formulierung von Hypothesen
Google beschreibt die Maschine als eine Hypothesenformulierungsmaschine, die mehrere Agenten verwendet.
In dem Google-Blogbeitrag heißt es: "Angesichts des Forschungsziels eines Wissenschaftlers, das in natürlicher Sprache angegeben wurde, ist der KI-Co-Wissenschaftler darauf ausgelegt, neuartige Forschungshypothesen, einen detaillierten Forschungsüberblick und experimentelle Protokolle zu generieren. Um dies zu erreichen, nutzt es eine Koalition von spezialisierten Agenten: Generation, Reflection, Ranking, Evolution, Proximity und Meta-Review."
Bei Googles Co-Scientist Design for AI gibt eine Person an der Eingabeaufforderung ein Forschungsziel ein, woraufhin eine Reihe von Agenten parallel arbeiten, um die Literatur zu überprüfen, Hypothesen zu formulieren und zu bewerten.
Die Struktur des KI-Co-Wissenschaftlers ist so konzipiert, dass sie die Aufgaben mehrerer Agenten parallel ausführt, unterstützt durch eine Speicherverwaltungsfunktion zum Speichern von Zwischenergebnissen.
Der Co-Wissenschaftler beginnt mit der Arbeit, nachdem der Wissenschaftler an der Eingabeaufforderung sein Forschungsziel "zusammen mit Präferenzen, experimentellen Einschränkungen und anderen Attributen" eingegeben hat.
Google besteht darauf, dass das Programm über die reine Literaturrecherche hinausgeht, um stattdessen "neues, originelles Wissen aufzudecken und nachweislich neuartige Forschungshypothesen und -vorschläge zu formulieren, die auf früheren Erkenntnissen aufbauen und auf bestimmte Forschungsziele zugeschnitten sind".
Testzeit-Skalierung auf Steroiden
Die Adaption von Gemini 2.0 betont die Verwendung von "Test-Time-Scaling", bei der KI-Agenten immer mehr Rechenleistung einsetzen, um ihre Ausgabe iterativ zu überprüfen und neu zu formulieren.
Am dramatischsten ist die Skalierung der Testzeit nicht nur bei Gemini, sondern auch beim o1-Modell von OpenAI und bei DeepSeek AI zu beobachten, alles Beispiele für sogenannte Reasoning-Modelle, die viel mehr Zeit damit verbringen, auf eine Eingabeaufforderung zu reagieren und Zwischenergebnisse zu generieren.
Der KI-Co-Wissenschaftler ist ein bisschen wie eine Test-Zeit-Skalierung auf Steroiden.
In dem formellen Papier, das von Juraj Gottweis von Google verfasst und auf dem pre-print-Server arXiv veröffentlicht wurde, bezeichnen die Autoren ihre Arbeit ausdrücklich als eine Art Verbesserung dessen, was das R1-Modell von DeepSeek hervorgebracht hat:
Jüngste Fortschritte, wie das DeepSeek-R1-Modell, demonstrieren das Potenzial von Testzeit-Compute weiter, indem sie Reinforcement Learning nutzen, um die "Gedankenkette" des Modells zu verfeinern und komplexe Denkfähigkeiten über längere Zeiträume zu verbessern. In dieser Arbeit schlagen wir eine signifikante Skalierung des Test-Time-Compute-Paradigmas vor, indem wir induktive Verzerrungen verwenden, die aus der wissenschaftlichen Methode abgeleitet wurden, um ein Multi-Agenten-Framework für wissenschaftliches Denken und Hypothesengenerierung ohne zusätzliche Lerntechniken zu entwerfen.
Der Co-Scientist besteht aus einer Auswahl von KI-Agenten, die auf externe Ressourcen zugreifen können, so Gottweis und sein Team. "Sie sind auch in der Lage, über Anwendungsprogrammierschnittstellen mit externen Tools wie Websuchmaschinen und spezialisierten KI-Modellen zu interagieren", schreiben sie.
Wo die Skalierung zur Testzeit am meisten ins Spiel kommt, ist die Vorstellung eines "Turniers", bei dem der Co-Wissenschaftler die verschiedenen Hypothesen, die er generiert hat, vergleicht und einordnet. Dies geschieht unter Verwendung von "Elo"-Punktzahlen, einem gängigen Messsystem, das zur Einstufung von Schachspielern und Athleten verwendet wird.
Wie Gottweis und sein Team es beschreiben, hat einer der Agenten, ein "Ranking Agent", die Hauptverantwortung für die Bewertung der unterschiedlichen Hypothesen in einer Art kompetitiver Weise:
Eine wichtige Abstraktion im Co-Scientist-System ist die Idee eines Turniers, bei dem verschiedene Forschungsanträge bewertet und eingestuft werden, um iterative Verbesserungen zu ermöglichen. Der Ranglistenagent verwendet und orchestriert ein Elo-basiertes Turnier, um die generierten Hypothesen zu einem bestimmten Zeitpunkt zu bewerten und zu priorisieren. Dabei handelt es sich um paarweise Vergleiche, die durch simulierte wissenschaftliche Debatten erleichtert werden und eine differenzierte Bewertung der relativen Vorzüge jedes Vorschlags ermöglichen.
Google behauptet, die Daten zeigten, dass immer mehr Rechenleistung sowie Ranking und Re-Ranking die Hypothesen immer besser machen, wie sie von menschlichen Beobachtern bewertet werden.
Übertrifft Modelle und unassistierte menschliche Experten
Laut fünfzehn menschlichen Experten, die die Ergebnisse des Co-Wissenschaftlers überprüft haben, wird das Programm besser, da es mehr Rechenzeit damit verbringt, Hypothesen zu formulieren und zu bewerten.
Laut Google übertrifft der KI-Co-Wissenschaftler die relative Qualität des unangepassten Gemini 2.0 mit steigendem Rechenbudget, was zu höheren Elo-Werten wie im Schach und Sport führt.
"Da das System mehr Zeit damit verbringt, zu argumentieren und sich zu verbessern, verbessert sich die selbstbewertete Qualität der Ergebnisse und übertrifft Modelle und menschliche Experten ohne Unterstützung", heißt es in dem Papier.
Die menschlichen Beobachter gaben den Co-Wissenschaftlern im Allgemeinen "ein höheres Potenzial für Neuheit und Wirkung und bevorzugten die Ergebnisse im Vergleich zu anderen Modellen", wie z. B. dem unangepassten Gemini 2.0 und dem o1-Argumentationsmodell von OpenAI.
Angesichts der Betonung des Skalierungsaufwands ist es bedauerlich, dass Gottweis und sein Team in ihrem 70-seitigen technischen Bericht nirgendwo erwähnen, wie viel Rechenleistung für KI-Co-Wissenschaftler verwendet wurde.
Die Hypothese, die sie jedoch teilen, ist, dass die rasche Reduzierung der Rechenkosten, wie sie DeepSeek R1 demonstriert, so etwas wie den Co-Wissenschaftler für Forschungslabore im Großen und Ganzen nutzbar machen sollte.
"Die Trends bei den Kosten für die Berechnung von Destillations- und Inferenzzeit deuten darauf hin, dass solche intelligenten und allgemeinen KI-Systeme schnell erschwinglicher und verfügbarer werden", stellen sie fest.