Wie IBMs Blaupause für die Branchentransformation KI, 5G und Zusammenarbeit nutzt
Google entschied sich dafür, nur in der Hälfte der Benchmarks anzutreten, während Nvidia und seine Partner erneut die Ergebnisse in allen Benchmark-Tests dominierten.
David Kanter, Direktor von MLCommons, wies darauf hin, dass Verbesserungen sowohl bei den Hardware-Architekturen als auch bei der Deep-Learning-Software zu Leistungsverbesserungen bei der KI geführt haben, die zehnmal so hoch sind, wie man es von herkömmlichen Chip-Skalierungsverbesserungen allein erwarten würde.
Google und Nvidia teilen sich die Bestnoten für den zweimal jährlich stattfindenden Benchmark-Test für das Training von Programmen für künstliche Intelligenz, wie aus den am Mittwoch veröffentlichten Daten hervorgeht, die von MLCommons veröffentlicht wurden, dem Industriekonsortium, das einen beliebten Test der Leistung des maschinellen Lernens, MLPerf, beaufsichtigt.
Die Version 2.0-Runde der MLPerf-Trainingsergebnisse zeigte, dass Google die Bestnoten in Bezug auf die geringste Zeit für das Training eines neuronalen Netzes bei vier Aufgaben für kommerziell erhältliche Systeme erzielte: Bilderkennung, Objekterkennung, ein Test für kleine und einer für große Bilder sowie das BERT-Modell zur Verarbeitung natürlicher Sprache.
Nvidia erhielt die höchste Auszeichnung für die anderen vier der acht Tests für seine kommerziell erhältlichen Systeme: Bildsegmentierung, Spracherkennung, Empfehlungssysteme und das Lösen der Reinforcement-Learning-Aufgabe des Spielens von Go auf dem "Mini Go"-Datensatz.
Beide Unternehmen hatten hohe Punktzahlen für mehrere Benchmark-Tests, jedoch meldete Google keine Ergebnisse für kommerziell erhältliche Systeme für die anderen vier Tests, sondern nur für die vier, die es gewonnen hat. Nvidia meldete Ergebnisse für alle acht Tests.
Die Benchmark-Tests geben an, wie viele Minuten es dauert, die neuronalen "Gewichte" oder Parameter abzustimmen, bis das Computerprogramm eine erforderliche Mindestgenauigkeit bei einer bestimmten Aufgabe erreicht, ein Prozess, der als "Training" eines neuronalen Netzes bezeichnet wird.
Bei allen Anbietern zeigten die Schulungszeiten eine deutliche Verbesserung, sowohl dank höherer Leistung als auch dank intelligenterer Softwareansätze. In einer Pressekonferenz erklärte der Geschäftsführer des MLCommons, David Kanter, dass die Ergebnisse in groben Zügen zeigen, dass das Training in seiner Leistung besser gestiegen ist als das Mooresche Gesetz, die traditionelle Faustregel, die besagt, dass die Verdopplung der Transistoren eines Chips alle 18 bis 24 Monate die Computerleistung beschleunigt.
Die Punktzahl bei der ehrwürdigen ImageNet-Aufgabe zum Beispiel, bei der ein neuronales Netz darauf trainiert wird, Millionen von Bildern ein Klassifikator-Label zuzuweisen, ist heute 9 bis 10 Mal schneller, als einfache Chipverbesserungen implizieren würden, sagte Kanter.
"Wir haben es viel besser gemacht als das Mooresche Gesetz", sagte Kanter. "Man würde eine etwa dreieinhalbmal bessere Leistung erwarten, wenn man davon ausgeht, dass Transistoren linear mit der Leistung zusammenhängen; wie sich herausstellt, erhalten wir das 10-fache des Mooreschen Gesetzes."
Die Vorteile kommen "dem gewöhnlichen Mann oder der Frau" zugute, sagte Kanter, "dem Forscher mit einer einzigen Workstation" mit nur 8 Chips, sagte er.
Nvidia, das den Verkauf der GPU-Chips dominiert, die den Großteil des KI-Computings in der Welt ausmachen, übermittelt routinemäßig Ergebnisse für die meisten oder alle Tests. Diese einzelnen Workstations sehen Verbesserungen oder eine 4- bis 8-fache einfache Transistorskalierung, bemerkte er. "Wir legen viel mehr Fähigkeiten in die Hände der Forscher, was es uns ermöglicht, mehr Experimente durchzuführen und hoffentlich mehr Entdeckungen zu machen."
Google, dessen TPU einer der Hauptkonkurrenten von Nvidia-Chips ist, hat eine viel weniger konsistente Erfolgsbilanz mit MLPerf. Im Benchmark-Bericht vom Dezember reichte das Unternehmen nur eine Testnummer für eine experimentelle Verwendung seines TPU im BERT-Test ein.
Google sagte in vorbereiteten Bemerkungen: "Googles TPU v4 [Version 4] ML-Supercomputer haben bei fünf Benchmarks Leistungsrekorde aufgestellt, mit einer durchschnittlichen Beschleunigung von 1,42x gegenüber der nächstschnellsten Nicht-Google-Einreichung und 1,5x gegenüber unserer MLPerf 1.0-Einreichung."
Der Verweis von Google auf fünf Benchmarks beinhaltet eine gemeldete beste Punktzahl bei Empfehlungssystemen für ein Forschungssystem, das nicht im Handel erhältlich ist.
Auf die Frage von ZDNet, warum Google sich entschieden hat, mit kommerziellen Systemen in den vier Kategorien zu konkurrieren und nicht in den anderen vier, sagte das Unternehmen in einer E-Mail-Antwort: "Unsere Absicht mit den Einreichungen ist es, uns in erster Linie auf Workloads zu konzentrieren, die den Nutzen über MLPerf hinaus für uns maximieren.
"Wir treffen eine Entscheidung darüber, welche Modelle wir einreichen, basierend auf ihrer Ähnlichkeit mit ML-Modellen, die bei Google und von Kunden von Google Cloud verwendet werden. Das Einreichen und Optimieren von Benchmarks ist ein erheblicher Arbeitsaufwand, daher konzentrieren wir unsere Bemühungen darauf, den Nutzen über MLPerf hinaus für uns zu maximieren.
"Vor diesem Hintergrund haben wir unsere Bemühungen auf vier Benchmarks für die Kategorie "Cloud available" konzentriert - BERT, ResNet, RetinaNet, MaskRCNN."
Nvidia betonte den umfassenden Umfang der Einreichungen von sich selbst und von Partnern wie Dell und Lenovo. Computer, die Nvidia-Chips der einen oder anderen Art verwenden, waren für 105 Systeme verantwortlich, und 235 der insgesamt 264 gemeldeten Testergebnisse wurden gemeldet.
"NVIDIA und seine Partner lieferten weiterhin die beste Gesamtleistung des KI-Trainings und die meisten Einreichungen in allen Benchmarks, wobei 90 % aller Einreichungen aus dem Ökosystem stammten, wie aus den heute veröffentlichten MLPerf-Benchmarks hervorgeht", sagte Nvidia-Manager Shar Narasimhan in vorbereiteten Bemerkungen.
"Die NVIDIA KI-Plattform hat alle acht Benchmarks in der MLPerf Training 2.0-Runde abgedeckt, was ihre führende Vielseitigkeit unterstreicht."
Auf einer Folie zeigte Narasimhan eine "normalisierte" Messung, die versuchte, eine Leistung pro Beschleuniger zu erreichen, da die verschiedenen Maschineneinreichungen eine unterschiedliche Anzahl von Beschleunigerchips verwenden. Diese Maßnahme, so Narasimhan, zeigte, dass Nvidia in 6 von 8 Tests an der Spitze der Leistung lag.
"Wir glauben, dass diese spezielle Methode, die höchste Leistung auf 1,0x zu normalisieren und dann alle verbleibenden Beschleuniger in ähnlicher Größenordnung im Vergleich zu zeigen, der fairste Weg ist, alle zu vergleichen", sagte Narasimhan.
Unter anderem gewann der MLPerf-Test weiter an Anhängern und erzielte mehr Testergebnisse als in der Vergangenheit. Insgesamt 21 Organisationen meldeten die 264 Testergebnisse, gegenüber 14 Organisationen und 181 gemeldeten Einreichungen im Dezember-Bericht Version 1.1.
Zu den Neueinsteigern gehörten Asustek; die Chinesische Akademie der Wissenschaften (CASIA); Computerhersteller H3C; HazyResearch, der Name, der von einem einzelnen Doktoranden eingereicht wird; Krai, die an den anderen MLPerf-Wettbewerben teilgenommen hat, Inferenz, aber noch nie im Training; und das Startup MosaicML.
Unter den fünf besten kommerziellen Systemen wurden Nvidia und Google von einer Handvoll Einreicher abgefolgt, die es auf den dritten, vierten oder fünften Platz schafften.
Die Azure-Cloud-Einheit von Microsoft belegte den zweiten Platz im Wettbewerb um die Bildsegmentierung, den vierten Platz im Wettbewerb um Objekterkennung mit hochauflösenden Bildern und den dritten Platz im Wettbewerb um Spracherkennung, alle mit Systemen mit AMD EPYC-Prozessoren und Nvidia-GPUs.
Der Computerhersteller H3C belegte in vier der Tests, dem Bildsegmentierungswettbewerb, dem Objekterkennungswettbewerb mit hochauflösenden Bildern, der Empfehlungs-Engine und dem Go-Spiel den fünften Platz und schaffte es auch in der Spracherkennung auf den vierten Platz. Alle diese Systeme verwendeten Intel XEON-Prozessoren und Nvidia-GPUs.
Dell Technologies belegte den vierten Platz bei der Objekterkennung mit den Bildern mit niedrigerer Auflösung und den fünften Platz beim BERT-Test in natürlicher Sprache, beide mit Systemen mit AMD-Prozessoren und Nvidia-GPUs.
Der Computerhersteller Inspur belegte den fünften Platz bei der Spracherkennung mit einem System mit AMD EPYC-Prozessoren und Nvidia-GPUs und belegte den dritten und vierten Platz bei den Empfehlungssystemen mit XEON- bzw. EPYC-basierten Systemen.
Graphcore, das in Bristol, England, ansässige Start-up-Unternehmen, das Computer mit einem alternativen Chip- und Softwareansatz baut, belegte den fünften Platz in ImageNet. Der IT-Lösungsanbieter Nettrix belegte den vierten Platz im Wettbewerb zur Bildsegmentierung und den vierten Platz bei der Go Reinforcement Learning Challenge.
Die fünf besten Einreicher in jedem der acht Benchmark-Tests, mit der Anzahl der Minuten, die sie benötigt haben, um die aufgelisteten neuronalen Netze für die aufgelisteten Aufgaben zu trainieren. Eine kleinere Anzahl bedeutet weniger Zeit zum Trainieren, was besser ist.
In einem Briefing für Journalisten betonte Graphcore seine Fähigkeit, wettbewerbsfähige Bewertungen im Vergleich zu Nvidia zu niedrigeren Preisen für seine BowPOD-Maschinen mit unterschiedlicher Anzahl seiner IPU-Beschleunigerchips zu liefern. Das Unternehmen warb zum Beispiel für seinen BowPOD256, der den fünften Platz in der ResNet-Bilderkennung belegte und zehnmal schneller als ein 8-Wege-Nvidia DGX-System war und gleichzeitig weniger Geld kostete.
"Das Wichtigste ist definitiv die Wirtschaftlichkeit", sagte Matt Fyles, Head of Software bei Graphcore, in einer Medienkonferenz. "Wir hatten in der Vergangenheit den Trend, dass Maschinen schneller, aber teurer wurden, aber wir haben eine Linie in den Sand gezogen, wir werden es nicht teurer machen."
Obwohl einige kleinere Graphcore-Maschinen die besten Ergebnisse oder Nvidia und Graphcore um ein Coupé von Minuten Trainingszeit hinter sich haben, "kümmert sich keiner unserer Kunden um ein paar Minuten, was sie interessiert, ist, ob Sie wettbewerbsfähig sind und Sie dann das Problem lösen können, das ihnen wichtig ist", sagte er.
Fyles fügte hinzu: "Es gibt viele Projekte mit Tausenden von Chips, aber jetzt wird die Industrie erweitern, was man sonst noch mit der Plattform machen kann, anstatt nur zu sagen: Wir müssen diesen Benchmark-Wettbewerb gewinnen - das ist der Wettlauf nach unten."
Wie in früheren Berichten hatte Advanced Micro Devices das Recht, mit Intel zu prahlen. In 79 von 130 eingegebenen Systemen kamen AMDs EPYC- oder ROME-Serverprozessoren zum Einsatz, ein höherer Anteil als Intel-XEON-Chips. Darüber hinaus waren 33 der 40 besten Ergebnisse in den acht Benchmark-Tests AMD-basierte Systeme.
Wie in der Vergangenheit hat Intel nicht nur seinen XEON-Prozessor in Partnersystemen, sondern auch eigene Einträge mit seiner Habana Labs-Einheit, indem es den XEON in Verbindung mit dem Habana Gaudi Beschleunigerchip anstelle von Nvidia-GPUs verwendet. Intel konzentrierte sich nur auf den BERT-Test für natürliche Sprache, schaffte es aber nicht, die Top 5 zu knacken.
Sieben der acht Benchmark-Tests waren alle identisch mit dem Wettbewerb im Dezember. Der einzige neue Eintrag war ein Ersatz für eine der Objekterkennungsaufgaben, bei denen ein Computer ein Objekt in einem Bild umreißen und eine Beschriftung an die Kontur anbringen muss, die das Objekt identifiziert.
In dieser neuen Version wurden der weit verbreitete COCO-Datensatz und das neuronale SSD-Netzwerk durch einen neuen Datensatz, OpenImages, und ein neues neuronales Netzwerk, RetinaNet, ersetzt.
OpenImages verwendet Bilddateien, die größer als 1.200 x 1.600 Pixel sind. Die andere Objekterkennungsaufgabe verwendet weiterhin COCO, das Bilder mit einer niedrigeren Auflösung von 640 x 480 Pixeln verwendet.
In der Pressekonferenz erklärte Kanter von den MLCommons, dass der OpenImages-Datensatz mit einem neuen Benchmark-neuronalen Netz kombiniert wird, das von den Einreichern verwendet werden kann. Das vorherige Netzwerk basierte auf dem klassischen neuronalen ResNet-Netz für die Bilderkennung und Bildsegmentierung.
Die im neuen Test verwendete Alternative namens RetinaNet verbessert die Genauigkeit durch mehrere Verbesserungen der ResNet-Struktur. Zum Beispiel fügt es eine sogenannte "Feature-Pyramide" hinzu, die alle Blicke auf den Kontext um ein Objekt herum in allen Schichten des Netzwerks gleichzeitig und nicht nur eine Schicht eines Netzwerks berücksichtigt, wodurch Kontext hinzugefügt wird, um eine bessere Klassifizierung zu ermöglichen.
"Merkmalspyramiden sind eine Technik aus der klassischen Computer Vision, daher ist dies in gewisser Weise ein Riff auf den klassischen Ansatz, der im Bereich der neuronalen Netze angewendet wird", sagte Kanter.
Zusätzlich zur Feature-Pyramide behandelt die zugrunde liegende Architektur von RetinaNet, ResNeXt, Faltungen mit einer neuen Innovation auf ResNet. Classic ResNet verwendet sogenannte "dichte Faltungen", um Pixel nach der Höhe und Breite eines Bildes sowie nach den RGB-Kanälen zu filtern. Das ResNeXt unterteilt die RGB-Filter in separate Filter, die als "gruppierte Faltungen" bezeichnet werden und die parallel arbeiten, lernen, sich auf Aspekte der Farbkanäle zu spezialisieren. Das trägt auch zu einer höheren Genauigkeit bei.
