450 US-Dollar und 19 Stunden sind alles, was man braucht, um mit der o1-Vorschau von OpenAI mithalten zu können
Die UC Berkeley hat ein Open-Source-Modell veröffentlicht, das mit den mathematischen und Programmierfähigkeiten von o1 mithalten kann - zu einem Bruchteil der Kosten.
Open-Source-Ansätze sind nach wie vor vielversprechend bei der Demokratisierung der künstlichen Intelligenz (KI).
NovaSky's Sky-T1-32B-Vorschau
Am Freitag veröffentlichte das NovaSky-Forschungsteam an der UC Berkeley ein neues Argumentationsmodell, Sky-T1-32B-Preview, das vergleichbar mit der o1-preview von OpenAI abschneidet - nur dass es Open Source ist und in nur 19 Stunden für unter 450 US-Dollar mit acht Nvidia H100-GPUs gebaut wurde.
Das Team entwickelte Sky-T1 durch die Feinabstimmung von Alibabas Qwen2.5-32-Instruct und trainierte es mit Daten, die mit QwQ-32B-Preview generiert wurden, einem weiteren Open-Source-Modell, das mit o1-preview vergleichbar ist. Die Verwendung synthetischer Trainingsdaten kann helfen, Kosten zu senken.
"Wir kuratieren die Datenmischung, um verschiedene Bereiche abzudecken, die eine Argumentation erfordern, und ein Ablehnungsstichprobenverfahren, um die Datenqualität zu verbessern. Dann schreiben wir QwQ-Traces mit GPT-4o-mini in eine gut formatierte Version um, die von Still-2 inspiriert ist, um die Datenqualität zu verbessern und das Parsen zu vereinfachen", sagt das Team im Blog über den Datenaufbereitungsprozess.
Übertrifft die o1-preview von OpenAI
Das Modell schnitt bei Mathematik- und Codierungs-Benchmarks auf oder über dem Niveau von o1-preview ab, übertraf aber o1 nicht beim Benchmark GPQA-Diamond für Hochschulabsolventen, der fortgeschrittenere physikbezogene Fragen enthält. NovaSky hat alle Teile des Modells, einschließlich Gewichte, Daten, Infrastruktur und technische Details, als Open Source bereitgestellt.
O1 ist jetzt nicht mehr in der Vorschauphase und daher leistungsfähiger als die ursprüngliche Version. Außerdem bereitet sich OpenAI bereits auf die Einführung von o3 vor, das nach Angaben des Unternehmens o1 übertreffen kann. Aber wie das NovaSky-Team in seinem Blog betont, zeigt die Tatsache, dass Sky-T1 so schnell gebaut werden konnte, immer noch, "dass es möglich ist, hochrangige Denkfähigkeiten kostengünstig und effizient zu replizieren".
Ein erschwinglicheres Argumentationsmodell
Die relativ kurze Schulungszeit von 19 Stunden bedeutet, dass die Entwicklung von Sky-T1 laut Lambda Cloud-Preisen nur 450 US-Dollar kostete, wie das Team in dem Blogbeitrag klarstellt. Wenn man bedenkt, dass GPT-4 vermutete 78 Millionen US-Dollar an Rechenleistung verbraucht hat, ist es keine Kleinigkeit, ein Beispiel für ein erschwinglicheres Argumentationsmodell zu präsentieren, das von akademischen und Open-Source-Gruppen repliziert werden kann, denen die Finanzierung von OpenAI fehlt.
Fast die Hälfte derjenigen, die generative KI einführen , möchte, dass sie Open Source ist, und begründet dies mit Kosten- und Vertrauensbedenken. Anhaltende Durchbrüche in der Open-Source-KI könnten gleichberechtigtere Wettbewerbsbedingungen für kleinere Labore, gemeinnützige Organisationen und andere Einrichtungen schaffen, um wettbewerbsfähige Modelle zu entwickeln - eine erfrischende Wendung für ein neues Feld, das bereits von Tech-Giganten dominiert wird.