Nvidia übertrifft die KI-Benchmarks, aber Intel bringt bedeutende Konkurrenz mit
Intel baue intern einen Multitausend-Chip-Cluster auf, der auf seinem Gaudi-KI-Beschleuniger basiert, was in der Zukunft zu einer noch größeren Konkurrenz für Nvidia werden könnte.
Die neuesten Benchmark-Tests zur Chipgeschwindigkeit beim Training neuronaler Netze wurden am Dienstag von MLCommons, einem Industriekonsortium, veröffentlicht. Wie in den vergangenen Jahren schnitt Nvidia bei den MLPerf-Tests durchweg mit Bestnoten ab.
Da die Konkurrenten Google, Graphcore und Advanced Micro Devices dieses Mal keine Beiträge einreichten, war Nvidias Dominanz in allen acht Tests vollständig.
Allerdings brachte Intels Habana-Geschäft mit seinem Guadi2-Chip erhebliche Konkurrenz, und das Unternehmen verspricht, bis zum Herbst Nvidias Top-GPU H100 zu schlagen.
Der Benchmark-Test, Training Version 3.0, gibt an, wie viele Minuten es dauert, die neuronalen „Gewichte“ oder Parameter abzustimmen, bis das Computerprogramm bei einer bestimmten Aufgabe die erforderliche Mindestgenauigkeit erreicht, ein Prozess, der als „Training“ eines neuronalen Netzwerks bezeichnet wird .
Der Haupttest von Training 3.0, der insgesamt acht separate Aufgaben umfasst, zeichnet die Zeit auf, die zum Abstimmen eines neuronalen Netzwerks erforderlich ist, indem seine Einstellungen in mehreren Experimenten verfeinert werden. Es ist die eine Hälfte der Leistung eines neuronalen Netzwerks, die andere Hälfte ist die sogenannte Inferenz, bei der das fertige neuronale Netzwerk Vorhersagen trifft, wenn es neue Daten empfängt. Inferenz wird in separaten Veröffentlichungen von MLCommons behandelt.
Neben dem Training auf Servercomputern veröffentlichte MLCommons am Dienstag einen begleitenden Benchmark-Test, MLPerf Tiny Version 1.1, der die Leistung misst, wenn Vorhersagen auf Geräten mit sehr geringem Stromverbrauch getroffen werden.
Nvidia belegte in allen acht Tests den Spitzenplatz mit der niedrigsten Trainingszeit. Zwei neue Aufgaben wurden hinzugefügt. Eine davon testet das GPT-3 Large Language Model (LLM) von OpenAI. Generative KI mit LLMS ist aufgrund der Beliebtheit des ChatGPT-Programms von OpenAI, das auf demselben LLM aufbaut, zu einem Trend geworden. Bei der GPT-3-Aufgabe belegte Nvidia den ersten Platz mit einem System, das es mithilfe des Partners CoreWeave zusammengestellt hatte, der cloudbasierte Instanzen von Nvidia-GPUs vermietet.
Das Nvidia-CoreWeave-System brauchte knapp elf Minuten, um mithilfe eines Datensatzes namens „Colossal Cleaned Common Crawl“ zu trainieren. Dieses System nutzte 896 Intel Xeon-Prozessoren und 3.584 Nvidia H100-GPUs. Das System führte die Aufgaben mithilfe des NeMO-Frameworks von Nvidia für generative KI aus.
Das Training findet in einem Teil des vollständigen GPT-3-Trainings statt, wobei die „große“ Version von GPT-3 mit 175 Milliarden Parametern verwendet wird. MLCommons beschränkt den Test auf 0,4 % des gesamten GPT-3-Trainings, um die Laufzeit für die Einreicher angemessen zu halten.
Neu war dieses Mal auch eine erweiterte Version der Empfehlungs-Engines, die beispielsweise für die Produktsuche und Social-Media-Empfehlungen beliebt sind. MLCommons ersetzte den verwendeten Trainingsdatensatz, bei dem es sich um einen Ein-Terabyte-Datensatz handelte, durch einen Vier-Terabyte-Datensatz namens Criteo 4TB Multi-Hot. MLCommons entschied sich für das Upgrade, da der kleinere Datensatz veraltet war.
„Produktionsempfehlungsmodelle nehmen an Umfang zu - in Bezug auf Größe, Rechenleistung und Speichervorgänge“, stellte die Organisation fest.
Der einzige Anbieter von KI-Chips, der mit Nvidia konkurrierte, war Intels Habana, das fünf Beiträge mit seinem Gaudi2-Beschleunigerchip einreichte, plus einen Beitrag des Computerherstellers SuperMicro, der den Chip von Habana nutzte. Diese Systeme reichten insgesamt in vier der acht Aufgaben ein. In jedem Fall lagen die Habana-Systeme weit unter den Top-Nvidia-Systemen. Beim Test zum Trainieren des neuronalen Netzwerks BERT von Google anhand von Wikipedia-Daten zur Beantwortung von Fragen belegte Habana beispielsweise den fünften Platz und benötigte zwei Minuten für das Training, verglichen mit acht Sekunden für eine Nvidia-CoreWeave-Maschine mit 3.072 GPUs.
Allerdings bemerkte Jordan Plawner, Leiter KI-Produkte bei Intel, in einem Interview mit ZDNET, dass der Zeitunterschied zwischen Habana und Nvidia bei vergleichbaren Systemen so groß ist, dass er für viele Unternehmen vernachlässigbar sein könnte.
Beim BERT-Wikipedia-Test beispielsweise dauerte das Training eines 8-teiligen Habana-Systems mit zwei begleitenden Intel Xeon-Prozessoren etwas mehr als 14 Minuten. Dieses Ergebnis war besser als zwei Dutzend andere Einsendungen, viele davon mit der doppelten Anzahl an Nvidia A100-GPUs.
„Wir laden alle ein, sich die 8-Geräte-Maschinen anzusehen“, sagte Plawner. „Wir haben mit Gaudi2 einen erheblichen Preisvorteil, da wir preislich ähnlich wie ein ähnlich ausgestatteter A100 sind und Ihnen mehr Schulung pro Dollar bieten.“
Plawner stellte fest, dass der Gaudi2 nicht nur in der Lage ist, einige ähnliche Konfigurationen des Nvidia A100 zu schlagen, sondern dass der Gaudi2 auch mit einem leichten Handicap läuft. Nvidia übermittelte seine MLPerf-Einträge mit einem Datenformat zum Trainieren namens „FP-8“ (Gleitkomma, 8 Bit), während Habana einen alternativen Ansatz namens BF-16 (B-Float, 16 Bit) verwendete. Die höhere arithmetische Präzision des BF-16 beeinträchtigt die Trainingszeit etwas.
Später in diesem Jahr, sagte Plawner, werde Gaudi2 FP-8 verwenden, was seiner Meinung nach eine höhere Leistung ermöglichen werde. Er prognostizierte, dass Habana damit sogar Nvidias neueres H100-System in puncto Leistung übertreffen könne.
„Die Branche braucht eine Alternative“ zu Nvidia, sagte Plawner. Während Kunden traditionell davor zurückschreckten, von der vertrauenswürdigen Marke zu wechseln, werden sie nun durch eine plötzliche Verknappung der Versorgung mit Nvidia-Teilen gedrängt. CEO Jensen Huang sagte letzten Monat, dass Nvidia Schwierigkeiten habe, die Nachfrage nach H100-GPUs zu decken.
„Jetzt sind sie motiviert“, sagte Plawner gegenüber ZDNET über Kunden, die über die mangelnde Nvidia-Versorgung frustriert waren.
„Das ist es, was wir von ihnen hören, dass sie Dinge haben, die sie morgen tun wollen, die der CEO vorschreibt, und dass sie es nicht tun können, weil sie keine GPUs bekommen, Punkt.“
„Vertrauen Sie mir, sie verdienen weit mehr, als sie [für generative KI] ausgeben. Wenn sie 50 Leute in ein Gaudi-Projekt stecken können, um buchstäblich die gleiche Zeit zum Trainieren zu haben, wenn die Antwort lautet: Ich habe keine GPUs, und ich warte, oder ich habe Guadi2 und kann morgen meinen neuen Dienst starten, sie werden Gaudi2s kaufen, um ihren neuen Dienst zu starten.
Laut Plawner ist Intel nach Taiwan Semiconductor die zweitgrößte Fabrik für Chips oder „Fab“ der Welt, was dem Unternehmen die Möglichkeit gibt, seine eigene Versorgung zu kontrollieren.
Obwohl Nvidia Systeme mit mehreren tausend GPUs baut, um die höchste Punktzahl zu erreichen, sei Habana dazu in der Lage, sagte Plawner. „Intel baut intern einen Guadi2-Cluster mit mehreren Tausend Einheiten auf“, sagte er, mit der impliziten Andeutung, dass eine solche Maschine ein Einstieg in eine zukünftige MLPerf-Runde sein könnte.
Die Ergebnisse vom Dienstag sind das zweite Quartal in Folge für den Trainingstest, in dem kein einziger alternativer Chiphersteller eine Bestnote gegen Nvidia erzielte.
Vor einem Jahr teilte sich Google dank seines TPU-Chips die Spitzenwertung mit Nvidia. Doch im November letzten Jahres tauchte Google nicht auf und war auch dieses Mal wieder abwesend. Und auch das Startup Graphcore ist aus dem Rennen ausgeschieden und konzentriert sich auf sein Geschäft, statt mit Testergebnissen anzugeben.
In einem Telefongespräch bemerkte MLCommons-Direktor David Kanter auf die Frage von ZDNET nach dem Nichterscheinen von Konkurrenten: „Je mehr Parteien teilnehmen, desto besser.“
Google antwortete bei Redaktionsschluss nicht auf eine Anfrage von ZDNET, warum das Unternehmen dieses Mal nicht teilnahm. Auch Advanced Micro Devices, das bei GPUs mit Nvidia konkurriert, antwortete nicht auf eine Bitte um Stellungnahme.
Allerdings waren die CPU-Chips von AMD in konkurrierenden Systemen vertreten. Doch in einer überraschenden Wendung der Ereignisse verwendete jedes einzelne Nvidia-Siegersystem Intel Xeon-CPUs als Host-Prozessor. In den Vorjahresergebnissen waren alle acht Gewinnerbeiträge, egal ob von Nvidia oder Google, Systeme mit AMDs EPYC-Serverprozessoren. Der Wechsel zeigt, dass es Intel mit der diesjährigen Veröffentlichung von Sapphire Rapids gelungen ist, bei Serverprozessoren etwas verlorenen Boden wieder gutzumachen.
Trotz der Abwesenheit von Google und Graphcore zieht der Test weiterhin neue Systemhersteller an, die Beiträge einreichen. Zu den Ersteinreichern gehörten dieses Mal CoreWeave, aber auch IEI und Quanta Cloud Technology.