Was ist Sparsity? Das Geheimnis der DeepSeek-KI, das von Apple-Forschern gelüftet wurde

Das KI-Modell, das die Welt erschütterte, ist Teil eines breiten Trends, mehr aus Chips herauszuholen. Und so funktioniert es.

Der Markt für künstliche Intelligenz (KI) - und der gesamte Aktienmarkt - wurde letzten Monat durch die plötzliche Popularität von DeepSeek erschüttert, dem Open-Source-Modell für große Sprachen (LLM), das von einem in China ansässigen Hedgefonds entwickelt wurde und bei einigen Aufgaben die Besten von OpenAI übertroffen hat, während es weit weniger kostete.

Wie Radhika Rajkumar von ZDNET erläutert, unterstreicht der Erfolg von R1 einen grundlegenden Wandel in der KI, der kleinere Labore und Forscher in die Lage versetzen könnte, wettbewerbsfähige Modelle zu entwickeln und verfügbare Optionen zu diversifizieren.

Warum funktioniert DeepSeek so gut?

Sein Erfolg beruht auf einem breit angelegten Ansatz innerhalb von Deep-Learning-Formen der KI, um mehr aus Computerchips herauszuholen, indem ein Phänomen ausgenutzt wird, das als "Sparsity" bekannt ist.

Kargheit gibt es in vielen Formen. Manchmal geht es darum, Teile der Daten zu eliminieren, die die KI verwendet, wenn diese Daten die Ausgabe des Modells nicht wesentlich beeinflussen.

In anderen Fällen geht es bei der Sparsity darum, ganze Teile eines neuronalen Netzes wegzuschneiden, wenn dies das Ergebnis nicht beeinflusst.

DeepSeek ist ein Beispiel für Letzteres: sparsamer Einsatz neuronaler Netze.

Der wichtigste Fortschritt, den die meisten Menschen in DeepSeek erkannt haben, besteht darin, dass es große Teile von "Gewichten" oder "Parametern" des neuronalen Netzes ein- und ausschalten kann. Parameter bestimmen, wie ein neuronales Netzwerk Eingaben - die Eingabeaufforderung, die Sie eingeben - in generierten Text oder Bilder umwandeln kann. Parameter haben einen direkten Einfluss darauf, wie lange es dauert, Berechnungen durchzuführen. Mehr Parameter bedeuten in der Regel mehr Rechenaufwand.

Sparsity und ihre Rolle in der KI

Die Möglichkeit, nur einige der Gesamtparameter eines LLM zu verwenden und den Rest abzuschalten, ist ein Beispiel für Sparsity. Diese Sparsamkeit kann einen großen Einfluss darauf haben, wie groß oder klein das Rechenbudget für ein KI-Modell ist.

Die KI-Forscher von Apple erklärten in einem am 21. Januar veröffentlichten Bericht, wie DeepSeek und ähnliche Ansätze Sparsity nutzen, um bessere Ergebnisse für eine bestimmte Menge an Rechenleistung zu erzielen.

Apple hat keine Verbindung zu DeepSeek, aber der Tech-Riese betreibt seine eigene KI-Forschung. Daher sind die Entwicklungen externer Unternehmen wie DeepSeek weitgehend Teil des kontinuierlichen Engagements von Apple in der KI-Forschung.

In dem Artikel mit dem Titel "Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models", das auf dem pre-print-Server arXiv veröffentlicht wurde, untersuchten der Hauptautor Samir Abnar und andere Apple-Forscher zusammen mit seinem Mitarbeiter Harshay Shah vom MIT, wie sich die Leistung veränderte, wenn sie die Sparsamkeit ausnutzten, indem sie Teile des neuronalen Netzes ausschalteten.

Abnar und sein Team führten ihre Studien mit einer Code-Bibliothek namens MegaBlocks durch, die 2023 von KI-Forschern bei Microsoft, Google und Stanford veröffentlicht wurde. Sie machen jedoch deutlich, dass ihre Arbeit auf DeepSeek und andere aktuelle Innovationen angewendet werden kann.

Abnar und das Team fragen, ob es in DeepSeek und ähnlichen Modellen ein "optimales" Niveau für Sparsity gibt: Gibt es für eine gegebene Menge an Rechenleistung eine optimale Anzahl dieser neuronalen Gewichte, die ein- oder ausgeschaltet werden können?

Die Forschung legt nahe, dass Sie die Sparsity als Prozentsatz aller neuronalen Gewichte, die Sie abschalten können, vollständig quantifizieren können, wobei dieser Prozentsatz sich 100 % des neuronalen Netzes annähert, aber nie entspricht, da es "inaktiv" ist.

Diagramme zeigen, dass für ein bestimmtes neuronales Netz mit einem bestimmten Rechenbudget eine optimale Menge des neuronalen Netzes vorhanden ist, die deaktiviert werden kann, um ein gewisses Maß an Genauigkeit zu erreichen. Die gleiche wirtschaftliche Faustregel gilt für jede neue Generation von PCs: entweder ein besseres Ergebnis für das gleiche Geld oder das gleiche Ergebnis für weniger Geld.

Für ein neuronales Netzwerk einer bestimmten Größe in Gesamtparametern mit einer bestimmten Rechenmenge benötigen Sie immer weniger Parameter, um die gleiche oder eine bessere Genauigkeit bei einem bestimmten KI-Benchmark-Test zu erreichen, z. B. in Mathematik oder bei der Beantwortung von Fragen.

Anders ausgedrückt: Unabhängig von Ihrer Rechenleistung können Sie zunehmend Teile des neuronalen Netzes ausschalten und so die gleichen oder bessere Ergebnisse erzielen.

Optimierung der KI mit weniger Parametern

Wie Abnar und sein Team in technischen Begriffen feststellten: "Die Erhöhung der Sparsamkeit bei gleichzeitiger proportionaler Erweiterung der Gesamtzahl der Parameter führt zu einem geringeren Vortrainingsverlust, selbst wenn sie durch ein festes Trainingsrechenbudget eingeschränkt ist." Der Begriff "Vortrainingsverlust" ist der KI-Begriff für die Genauigkeit eines neuronalen Netzes. Geringerer Trainingsverlust bedeutet genauere Ergebnisse.

Diese Erkenntnis erklärt, wie DeepSeek weniger Rechenleistung haben könnte, aber die gleichen oder bessere Ergebnisse erzielen könnte, indem einfach mehr Netzwerkteile abgeschaltet werden.

Sparsity ist wie ein magisches Zifferblatt, das die beste Übereinstimmung für Ihr KI-Modell und die verfügbare Rechenleistung findet.

Die gleiche wirtschaftliche Faustregel gilt für jede neue Generation von PCs: entweder ein besseres Ergebnis für das gleiche Geld oder das gleiche Ergebnis für weniger Geld.

Es gibt noch einige andere Details, die bei DeepSeek zu beachten sind. Eine weitere DeepSeek-Innovation, wie Ege Erdil von Epoch AI erklärt , ist beispielsweise ein mathematischer Trick namens "Multi-Head Latent Attention". Ohne zu tief ins Detail zu gehen, wird die latente Aufmerksamkeit mehrerer Köpfe verwendet, um einen der größten Speicher- und Bandbreitenverbraucher zu komprimieren, den Speichercache, der den zuletzt eingegebenen Text einer Eingabeaufforderung enthält.

Die Zukunft der Sparsity-Forschung

Abgesehen von den Details ist der wichtigste Punkt bei all diesen Bemühungen, dass das Phänomen der Kargheit weder in der KI-Forschung noch in der Ingenieurskunst neu ist.

KI-Forscher zeigen seit vielen Jahren , dass durch die Eliminierung von Teilen eines neuronalen Netzes mit weniger Aufwand eine vergleichbare oder sogar bessere Genauigkeit erreicht werden kann.

Der Nvidia-Konkurrent Intel hat die Sparsamkeit seit vielen Jahren als einen wichtigen Forschungszweig identifiziert, um den Stand der Technik auf diesem Gebiet zu verändern. Auch Ansätze von Startups, die auf Sparsity basieren, haben in den letzten Jahren in Branchen-Benchmarks hohe Punktzahlen erzielt.

Das magische Zifferblatt der Sparsity spart nicht nur Rechenkosten, wie im Fall von DeepSeek. Sparsity funktioniert auch in die andere Richtung: Sie kann immer effizientere KI-Computer herstellen.

Das magische Zifferblatt der Sparsity ist tiefgreifend, weil es nicht nur die Wirtschaftlichkeit für ein kleines Budget verbessert, wie im Fall von DeepSeek, sondern auch in die andere Richtung funktioniert: Geben Sie mehr aus, und Sie erhalten noch bessere Vorteile durch Sparsity. Wenn Sie Ihre Rechenleistung erhöhen, verbessert sich die Genauigkeit des KI-Modells, fanden Abnar und das Team heraus.

Sie schlugen vor: "Mit zunehmender Sparsamkeit nimmt der Validierungsverlust für alle Rechenbudgets ab, wobei größere Budgets auf jeder Sparsity-Stufe geringere Verluste erzielen."

Theoretisch können Sie also immer größere Modelle auf immer größeren Computern herstellen und so ein besseres Preis-Leistungs-Verhältnis erzielen.

All diese spärliche Arbeit bedeutet, dass DeepSeek nur ein Beispiel für ein breites Forschungsgebiet ist, das bereits von vielen Laboren verfolgt wird - und viele weitere werden nun aufspringen, um den Erfolg von DeepSeek zu replizieren.