Was genau ist ein KI-PC? Und sollten Sie im Jahr 2025 einen kaufen?

Google sagte, dass das Training großer Modelle ein "großer Schwerpunkt" für das Unternehmen ist und in den Benchmark-Ergebnissen mehr Aufmerksamkeit erhalten sollte.

Ein Google-Rechenzentrum mit Racks seiner TPU-Beschleunigerchips der Version 4 für maschinelles Lernen. Google verwendete einen Cluster von 2.048 TPUs, um seine bisher größte Version seines BERT-Programms für natürliche Sprache, bestehend aus 481 Milliarden Parametern, in 19 Stunden als Einreichung für den MLPerf-Benchmark-Wettbewerb zu trainieren.

Die Deep-Learning-Welt der künstlichen Intelligenz ist besessen von Größe. 

Deep-Learning-Programme wie GPT-3 von OpenAI verwenden immer mehr GPU-Chips von Nvidia und AMD - oder neuartige Beschleunigerchips -, um immer größere Softwareprogramme zu erstellen. Die Genauigkeit der Programme nimmt mit der Größe zu, behaupten die Forscher.

Diese Besessenheit von der Größe zeigte sich am Mittwoch in den neuesten Branchen-Benchmark-Ergebnissen, die von MLCommons gemeldet wurden und den Standard für die Messung setzen, wie schnell Computerchips Deep-Learning-Code knacken können. 

Google hat sich entschieden, sich keinen Standard-Benchmark-Tests für Deep Learning zu unterziehen, die aus Programmen bestehen, die in der Praxis gut etabliert, aber relativ veraltet sind. Stattdessen zeigten die Ingenieure von Google eine Version von Googles BERT-Programm für natürliche Sprache, die kein anderer Anbieter verwendete. 

MLPerf, die Benchmark-Suite, die zur Messung der Leistung im Wettbewerb verwendet wird, meldet Ergebnisse für zwei Segmente: die standardmäßige "geschlossene" Abteilung, in der die meisten Anbieter in etablierten Netzwerken wie ResNet-50 konkurrieren; und die "Open"-Abteilung, in der Anbieter nicht standardisierte Ansätze ausprobieren können. 

In der Open-Division zeigte Google einen Computer, der 2.048 TPU-Chips von Google in der Version 4 verwendete. Diese Maschine war in der Lage, das BERT-Programm in etwa 19 Stunden zu entwickeln. 

Das BERT-Programm, ein neuronales Netz mit 481 Milliarden Parametern, war zuvor nicht bekannt gegeben worden. Es ist mehr als drei Größenordnungen größer als die im Umlauf befindliche Standardversion von BERT, bekannt als "BERT Large", die nur 340 Millionen Parameter hat. Wenn Sie viel mehr Parameter haben, ist in der Regel viel mehr Rechenleistung erforderlich. 

Google sagte, die neuartige Einreichung spiegele die zunehmende Bedeutung der Skalierung in der KI wider.

Google hat die neuartige Version seines Sprachprogramms BERT in der "Open"-Abteilung von MLPerf eingereicht. Graphcore und Samsung waren die beiden anderen Anbieter, die an dieser Abteilung teilnahmen. 

"Unser Denken dieses Mal ist, dass wir schon immer darauf bedacht waren, sicherzustellen, dass unsere Einreichungen bei MLPerf gut auf unsere internen Bedürfnisse und die Bedürfnisse der ML-Branche abgestimmt sind", sagte Aarush Selvan, der die Infrastruktur für maschinelles Lernen bei Google beaufsichtigt, in einer Medienkonferenz. 

"Und so wird das Training großer Modelle - Modelle in der Größenordnung von Dutzenden oder Hunderten von Milliarden Parametern und sogar einer Billion von Parametern und mehr - sowohl innerhalb von Google - es ist ein enormer Schwerpunkt für unsere Forschung und unsere Produktion - als auch für unsere Cloud-Kunden immer wichtiger."

Die MLPerf-Testsuite ist die Gründung von MLCommons, einem Industriekonsortium, das mehrere jährliche Benchmark-Bewertungen von Computern für die beiden Teile des maschinellen Lernens herausgibt: sogenanntes Training, bei dem ein neuronales Netzwerk aufgebaut wird, indem seine Einstellungen in mehreren Experimenten verfeinert werden; und die sogenannte Inferenz, bei der das fertige neuronale Netz Vorhersagen trifft, wenn es neue Daten erhält. 

Der Bericht vom Mittwoch ist der jüngste Benchmark-Test für die Trainingsphase. Er folgt auf den vorherigen Bericht vom Juni.

Die vollständigen MLPerf-Ergebnisse wurden in einer Pressemitteilung auf der MLCommons-Website vorgestellt. Die vollständigen Daten zu den Einreichungen sind in den auf der Website veröffentlichten Tabellen zu sehen.

Googles Selvan sagte, MLCommons sollte in Betracht ziehen, mehr große Modelle einzubeziehen. Die älteren, kleineren Netzwerke wie ResNet-50 "geben uns nur einen Proxy" für groß angelegte Trainingsleistungen, sagte er. 

"4.000 Chips zu werfen, um BERT in nur wenigen Sekunden zu trainieren, ist wirklich cool", bemerkte Selvan und bezog sich dabei auf die kleinere Version von BERT, auf die sich die meisten Anbieter in der geschlossenen Abteilung konzentrieren.

"Und zeigt einige Aspekte der Skalierbarkeit, aber es ist wirklich nur ein Proxy, denn im wirklichen Leben verwendet man nie so viele Chips, um ein so kleines Modell zu trainieren."

"4.000 Chips zu werfen, um BERT in nur wenigen Sekunden zu trainieren, ist wirklich cool", bemerkte Selvan und bezog sich dabei auf die kleinere Version von BERT, auf die sich die meisten Anbieter in der geschlossenen Abteilung konzentrieren. "Und zeigt einige Aspekte der Skalierbarkeit, aber es ist wirklich nur ein Proxy, denn im wirklichen Leben verwendet man nie so viele Chips, um ein so kleines Modell zu trainieren."

Die fehlende Komponente, so Selvan, sei die sogenannte Effizienz von Systemen, wenn sie größer werden. Google war in der Lage, sein riesiges BERT-Modell mit einem Wirkungsgrad von 63 % auszuführen, sagte er gegenüber ZDNet, gemessen an der Anzahl der durchgeführten Gleitkommaoperationen pro Sekunde im Verhältnis zu einer theoretischen Kapazität. Das sei besser als das nächsthöchste Branchenergebnis von 52 Prozent, das Nvidia bei der Entwicklung seines mit Microsoft entwickelten Megatron-Turing-Sprachmodells erzielt hat. 

"Wir denken, dass es für die Zukunft wirklich großartig wäre, eine Art Benchmark für große Modelle im Rahmen des MLPerf-Wettbewerbs zu haben", sagte Selvan.

David Kanter, Geschäftsführer von MLCommons, sagte, die Entscheidung, große Modelle zu haben, sollte den Mitgliedern des Unterhauses überlassen werden, um gemeinsam zu entscheiden. Er wies jedoch darauf hin, dass der Einsatz kleiner neuronaler Netze als Tests den Wettbewerb für mehr Parteien zugänglich mache. 

"Der Sinn einer Benchmark ist es, fair und repräsentativ zu sein, aber auch niemanden, der sie betreibt, in den Bankrott zu treiben", sagte Kanter. 

"Theoretisch könnten wir das Training von GPT-3 zu einem MLPerf-Benchmark  machen", fügte Kanter hinzu und verwies auf das 175-Milliarden-Parameter-Sprachmodell, das OpenAI im vergangenen Jahr als hochmodernes Modell für natürliche Sprache vorgestellt hat. 

"Der Sinn einer Benchmark ist es, fair und repräsentativ zu sein, aber auch niemanden, der sie betreibt, in den Bankrott zu treiben", sagte der MLCommons-Vorsitzende Kanter. "Theoretisch könnten wir das Training von GPT-3 zu einem MLPerf-Benchmark  machen ... Die Herausforderung besteht darin, dass das Training von GPT-3 ziemlich rechenintensiv ist. Es sind zig Millionen Dollar."

"Die Herausforderung ist, dass das Training von GPT-3 ziemlich rechenintensiv ist. Es sind zig Millionen Dollar."

Im Gegensatz dazu sind die Standardtests von MLPerf, deren Code jedem zur Verfügung gestellt wird, eine Ressource, die jeder KI-Forscher nutzen kann, um die Tests zu replizieren - ohne exotische Ansätze zur Berechnung zu haben, sagte Kanter. 

"Auf diese Weise produziert es diese sehr wertvollen technischen Artefakte für die gesamte Gemeinschaft und trägt dazu bei, die Branche voranzutreiben."

Google habe keine Pläne, das neuartige BERT-Modell zu veröffentlichen, sagte Selvan in einer E-Mail an ZDNet und beschrieb es als "etwas, das wir nur für MLPerf gemacht haben". Das Programm ähnelt den Designs, die Google Anfang des Jahres in einer Studie zu hochparallelisierten neuronalen Netzen skizziert hat, sagte Selvan. 

Trotz der Neuartigkeit des BERT-Programms mit 481 Milliarden Parametern ist es repräsentativ für reale Aufgaben, da es auf realem Code aufbaut. 

"Wir glauben, dass diese von uns eingereichten Benchmarks, da sie eine gestapelte Transformer-Architektur nutzen, in Bezug auf ihre Recheneigenschaften mit bestehenden großen Sprachmodellen, die veröffentlicht wurden, ziemlich realistisch sind", sagte Selvan gegenüber ZDNet.

Wie die kleineren Einreichungen in MLPerf wurde auch das riesige BERT-Modell so trainiert, dass es Ergebnisse mit einer gewissen Genauigkeit liefert, erklärt Selvan. In diesem Fall eine Genauigkeit von 75 % bei den Vorhersagen, die über den von MLPerf geforderten 72,2 % liegt. 

Nvidia-Chips holten sich erneut den Löwenanteil der Bestnoten beim Training neuronaler Netze, diesmal mit Hilfe von Microsoft Azure.

Das Google-Programm stützte sich auch auf weniger Stichproben von Textdaten, um die gleiche Genauigkeit wie die Ergebnisse der geschlossenen Division anderer Anbieter zu erreichen. Die geschlossene Abteilung erfordert ein Programm, das mit fast einer halben Milliarde Sequenzen von Token trainiert, die meist eine Länge von 128 Token pro Sequenz haben. Das Google-Programm wurde mit nur etwa 20 Millionen Token trainiert, aber mit einer Länge von 512 Token pro Sequenz. Auf die Arbeit wird in einem Blogbeitrag von Google näher eingegangen.

Das 2.048-TPU-System, das Google für die Arbeit verwendet hat, ist derzeit als Google Cloud-Dienst verfügbar.

Der Rest der MLPerf-Ergebnisse, hauptsächlich im geschlossenen Bereich, zeigt, dass Nvidia und andere Anbieter weiterhin Fortschritte bei der Reduzierung der Zeit machen, die für das Trainieren der Standardversionen von ResNet, BERT und anderen Aufgaben benötigt wird. 

Nvidia holte sich wie immer den Löwenanteil der Top-Ergebnisse. Zum Beispiel belegten Computer, die die neueste GPU-Generation, den A100, verwenden, die ersten vier Plätze für die schnellste Zeit beim Trainieren des ResNet-50, wobei die schnellste Zeit nur 21 Sekunden betrug. Das war bei 4.320 A100, die parallel arbeiteten, mit Hilfe von 1.080 EPYC x86-Prozessoren von AMD. Das Ergebnis war eine Verbesserung gegenüber den 24 Sekunden, die Nvidia im Juni-Bericht verzeichnete.

Wo jedoch weniger Nvidia-Chips und weniger Host-Prozessoren zum Einsatz kamen, konnten die Konkurrenten besser abschneiden als Nvidia. Intels Habana Labs belegte den fünften Platz im ResNet-50 mit 256 der Gaudi-Beschleunigerchips von Habana, die von 128 Intel Xeons betreut wurden. 

Graphcore argumentierte, dass es bessere Ergebnisse zu viel geringeren Kosten liefern kann als die Systeme von Nvidia, wobei ein größerer Teil der Einsparungen darauf zurückzuführen ist, dass weniger Host-Prozessoren von Intel oder AMD für eine entsprechende Anzahl von KI-Beschleunigern benötigt werden. 

Und Graphcore, das in Bristol, Großbritannien, ansässige Start-up, das im Juni-Bericht für ein Zwei-Prozessor-System beim BERT-Training die beste Punktzahl erzielte, belegte mit einer neuen Version seines IPU-POD-Computers, der 256 seiner IPU-Beschleunigerchips und 32 AMD EPYC-Host-Prozessoren verwendet, den sechsten Platz auf ResNet-50.

Die Ergebnisse von Habana und Graphcore ResNet-50 betrugen 3,4 Minuten bzw. 3,8 Minuten. Zum Vergleich: 4,5 Minuten benötigt Nvidias 7. Platz, ein 64-Wege-A100-System mit 16 EPYC-Prozessoren.

Wie schon im Juni-Bericht, bei der Graphcore zum ersten Mal teilnahm, betonte das Unternehmen, wie wichtig es ist, ein Gleichgewicht zwischen Leistung und Kosten der Gesamtsysteme zu finden. Das Unternehmen verwies auf den Zeit-zu-Zeit-Zug ResNet-50 von 28 Minuten auf seinem 16-Wege-System, eine Minute schneller als ein vergleichbares Nvidia DGXA100-System, das wesentlich mehr kostet, hieß es. 

"Unser POD-16 übertrifft eine DGXA100... und es kostet die Hälfte des Listenpreises des DGXA100", sagte Dave Lacey, Chief Software Architect von Graphcore, in einer Medienkonferenz.

Ein Großteil des Kostenvorteils ergibt sich aus einem kleineren Verhältnis von Intel- oder AMD x86-Host-Prozessoren im Vergleich zu IPU-Chips, so Graphcore.

Graphcore belegte mit fast 7 Minuten den sechsten Platz hinter Nvidia-Chips für Bestnoten beim Training des Standard-BERT-Modells, gegenüber 3 Minuten für das fünftplatzierte Nvidia-System. Das Graphcore-System verwendete jedoch nur 4 AMD EPYC-Prozessoren gegenüber 16 im Nvidia-basierten System. 

"Der Preis des Host-Prozessors ist ein erheblicher Teil der Kosten eines Systems", sagte Lacey. "Wie bei jeder teuren Ressource verwendet man nur das, was man braucht."

Graphcore macht deutlich, dass sein niedriges Verhältnis von Host-Prozessor - Intel oder AMD x86 - zu Beschleunigerchip ein effizienteres Modell der KI-Verarbeitung ist, das zu erheblichen Kosteneinsparungen führt.  

Auf die Frage nach Googles Standpunkt in Bezug auf große Aufgaben mit neuronalen Netzen sagte Lacey, dass die wichtigsten MLPerf-Ergebnisse gut als Proxy für reale Aufgaben dienen. 

Über die Erfolge der einzelnen Anbieter hinaus zeigt der MLPerf-Benchmark die Leistung der gesamten Chipindustrie bei der Beschleunigung der Leistung neuronaler Netze, sagte MLCommons-Vorsitzender Kanter.

"Wenn man sich den Verlauf der besten Ergebnisse im MLPerf-Training im Laufe der Zeit ansieht, kann man sehen, dass es dramatisch schneller ist als das Mooresche Gesetz", sagte Kanter und bezog sich dabei auf die jahrzehntelange Halbleiter-Faustregel, dass sich die Transistordichte etwa alle 18 Monate verdoppelt, was zu einer Verdoppelung der Leistung führt.

"Durch Optimierungen der Architektur, der Systemgröße, der Software und der Modellpartitionierung", so Kanter, gelingt es den Anbietern, die Leistung neuronaler Netze bis zu 11-mal schneller zu beschleunigen als die historische Entwicklung des Mooreschen Gesetzes. 

Die Benchmark-Suite wird von den Anbietern immer mehr unterstützt, mit mehr Teilnehmern und mehr Einreichungen. Die für alle Benchmarks insgesamt gemeldeten Ergebnisse beliefen sich auf 175, gegenüber 144 im Juni-Bericht. 

Diesmal schlossen sich neue Anbieter dem Wettbewerb an. Samsung Electronics zum Beispiel hat die Ergebnisse seines Supercomputers mit 256 AMD-Chips und 1.024 Nvidia A100 eingereicht. Dieses System hatte mit Hilfe einiger nicht standardmäßiger Software-Optimierungen die zweitschnellste Punktzahl aller Systeme, um die normale Version von BERT zu trainieren, nur 25 Sekunden. 

Ebenfalls ein Newcomer wardiesmal Microsofts Cloud-Dienst Azure, der Ergebnisse für 19 Einreichungen mit AMD-Prozessoren und Nvidia A100s in verschiedenen Konfigurationen meldete. Azure hat in sieben von acht Benchmark-Tests zwei der ersten fünf Plätze gewonnen.

Und ein Azure-System erhielt die höchste Punktzahl beim Trainieren eines Bildsegmentierungsmodells für medizinische Daten (die KiTS19-Herausforderung) mit 192 AMD EPYC-Prozessoren und 768 A100-Prozessoren.

"Wir wollen das Supercomputing demokratisieren", sagte Nidhi Chappell, Leiter des Bereichs High Performance Computing und KI bei Azure, gegenüber ZDNet. 

Sie sagte, dass die Bereitstellung kommerziell verfügbarer Systeme wie des 768-Wege-AI100-Systems in der Cloud "das Beste aus HPC und KI zusammengebracht hat, anstatt eine Vanilla-Cloud zu nehmen, die jeden Workload bedient". 

"KI-Training ist ein HPC-Problem, und unsere Expertise im Bereich HPC hat uns geholfen, KI in großem Maßstab zu entwickeln", sagte sie. "Wir wollen eine Infrastruktur aufbauen, die für große Mengen optimiert ist." Dazu gehören Systeme mit bis zu 80.000 Kernen. 

Microsoft zeigt mit seiner ersten MLPerf-Trainingseinreichung, die in Zusammenarbeit mit Nvidia durchgeführt wurde, dass sein Azure-Cloud-Dienst "High-Performance-Computing demokratisiert".

Ein wichtiger Grund für die Teilnahme an MLPerf, so Chappell, sei gewesen, zu zeigen, dass solch umfangreiche Arbeiten in einer Cloud-Umgebung genauso gut funktionieren können wie vor Ort. 

"Was wir bewiesen haben, ist, dass wir in der Lage waren, den Overhead der Cloud-Virtualisierung zu maskieren. Dieser Overhead ist in der Cloud so gut wie entfernt", so dass die Leistung nicht beeinträchtigt wird, sagte sie.

Auf die Frage nach großen Modellen im Vergleich zu den standardmäßigen MLPerf-Aufgaben sagte Chappell, dass es "nur eine Frage der Zeit" sei, bis Azure einige nicht standardmäßige, groß angelegte Arbeiten einreicht, ähnlich wie Google es in der Open-Abteilung getan hat. 

"Es wird passieren."

Gleichzeitig seien die Standard-MLPerf-Tests in der geschlossenen Abteilung nützlich, weil sie "zeigen, wie schnell sich die KI entwickelt; Es ist ein ständiger Prozess der Optimierung."

Chappells Mitarbeiter bei Nvidia, Shar Narasimhan, Nvidias Senior Group Product Manager für seine Rechenzentrumsprodukte, sagte im selben Briefing, dass die Standardtests von MLPerf den Vorteil haben, dass sie wie eine einheitliche Strecke sind, auf der viele Athleten auf Augenhöhe gegeneinander antreten. 

"Es ist eine Gelegenheit für alle, genau das gleiche Rennen zu laufen und die Ergebnisse Kopf an Kopf zu vergleichen", sagte  Narasimhan. "Wenn wir uns die olympischen Ergebnisse ansehen, haben wir seit mehr als einem Jahrhundert genau die gleiche Strecke, und das ermöglicht es uns, das Rennen, das vor 100 Jahren gelaufen wurde, mit den Ergebnissen von [dem jamaikanischen Sprinter] Usain Bolt zu vergleichen."

Natürlich scheint es, dass Nvidia und Azure mit dem weltweit größten veröffentlichten NLP-Modell, Megatron-Turing, eine neuartige Einreichung großer Modelle anbieten könnten, wie es Google getan hat.

"Wir können diese Modelle mit niemandem vergleichen", erklärt Narasimhan, daher ist es schwierig, eine solche Arbeit im Kontext von MLPerf nutzbar zu machen. Nvidia hat sich nicht zu zukünftigen Einreichungen großer Modelle verpflichtet.

In Bezug auf das, was für die Branche wichtig ist, so Narasimhan, ist, dass viele Unternehmen KI für fokussierte Zwecke einsetzen wollen, "nicht für ein riesiges Sprachmodell, das 4.000 Chips benötigt, um zu laufen". Die kleineren Benchmarks können verwendet werden, um Arbeitslasten und Leistung zu antizipieren, sagte er.

Googles Selvan sagte, Google beabsichtige, sich auch in Zukunft den Closed-Division-Benchmarks von MLPerf zu unterwerfen. 

"Wir werden alle nächstes Jahr wieder in der geschlossenen Division sehen - hoffentlich, kann ich nicht versprechen, aber wir planen, dort zu sein", sagte er.