Die Sparsamkeit von Neural Magic, Nvidias Hopper und Alibabas Netzwerk gehören zu den Ersten in den neuesten MLPerf-KI-Benchmarks
Die jüngsten Benchmark-Tests von Chips für KI zeigten neue Ansätze für den Umgang mit immer größerer Skalierung, einschließlich Clustern von Maschinen und Sparsity, dem Beschneiden neuronaler Netze, um sie effizienter zu machen.
Nvidias Hopper, die neueste Generation des GPU-Designs, tauchte in den MLPerf-Benchmark-Tests von neuronaler Netzhardware auf. Der Chip zeigte bewundernswerte Ergebnisse, wobei ein Single-Chip-System einige Systeme mit mehreren Chips der älteren Variante, dem A100, übertraf.
Der Trend bei maschinellen Lernformen der künstlichen Intelligenz geht zunehmend zu immer größeren neuronalen Netzen. Die größten neuronalen Netze, wie z. B. das Pathways Language Model von Google, gemessen an ihren Parametern oder "Gewichten", erreichen über eine halbe Billion Gewichte, wobei jedes zusätzliche Gewicht die verwendete Rechenleistung erhöht.
Wie geht man mit dieser zunehmenden Größe um? Mit leistungsstärkeren Chips auf der einen Seite, aber auch, indem man einen Teil der Software auf Diät setzt.
Am Donnerstag wurde der neueste Benchmark-Test darüber, wie schnell ein neuronales Netz ausgeführt werden kann, um Vorhersagen zu treffen, von MLCommons, dem Konsortium, das die MLPerf-Tests durchführt, vorgestellt. Die gemeldeten Ergebnisse enthielten einige wichtige Meilensteine, darunter die allerersten Benchmark-Ergebnisse für Nvidias "Hopper"-GPU, die im März vorgestellt wurden.
Zur gleichen Zeit reichte der chinesische Cloud-Riese Alibaba die ersten gemeldeten Ergebnisse für einen ganzen Cluster von Computern ein, die als eine einzige Maschine agieren, und übertraf damit andere Einreichungen in Bezug auf den möglicherweise erzielten Gesamtdurchsatz.
Und ein Start-up-Unternehmen, Neural Magic, zeigte, wie es in der Lage war, "Pruning", ein Mittel, um Teile eines neuronalen Netzwerks wegzuschneiden, eine schlankere Software zu erhalten, die ungefähr so gut funktioniert wie ein normales Programm, aber mit weniger benötigter Rechenleistung.
"Wir alle trainieren diese peinlich rohen, dichten Modelle", sagte Michael Goin, Product Engineering Lead bei Neural Magic, in einem Interview mit ZDNet und bezog sich dabei auf riesige neuronale Netze wie Pathways. "Wir alle wissen, dass es einen besseren Weg geben muss."
Die Benchmark-Tests, Inference 2.1 genannt, stellen die eine Hälfte des maschinellen Lernansatzes für KI dar, bei dem ein trainiertes neuronales Netz mit neuen Daten gefüttert wird und als Ergebnis Schlussfolgerungen ziehen muss. Der Benchmark misst, wie schnell ein Computer eine Antwort auf eine Reihe von Aufgaben liefern kann, einschließlich ImageNet, bei dem die Herausforderung für das neuronale Netzwerk darin besteht, eines von mehreren Labels auf ein Foto anzuwenden, das das Objekt auf dem Foto beschreibt, z. B. eine Katze oder ein Hund.
Chip- und Systemhersteller wetteifern darum, wie gut sie bei Messgrößen wie der Anzahl der in einer einzigen Sekunde verarbeiteten Fotos abschneiden können oder wie niedrig sie die Latenz erreichen können, die gesamte Round-Trip-Zeit für eine Anforderung, die an den Computer gesendet wird, und eine Vorhersage, die zurückgegeben werden soll.
Darüber hinaus reichen einige Anbieter Testergebnisse ein, die zeigen, wie viel Energie ihre Maschinen verbrauchen - ein immer wichtigeres Element, da Rechenzentren immer größer werden und große Mengen an Strom verbrauchen.
Die andere Hälfte des Problems, das Trainieren eines neuronalen Netzwerks, wird in einer weiteren Reihe von Benchmark-Ergebnissen behandelt, die MLCommons separat veröffentlicht, wobei die letzte Runde im Juni stattfindet.
Der Inference 2.1-Bericht folgt auf eine vorherige Runde von Inferenz-Benchmarks im April. Diesmal bezogen sich die gemeldeten Ergebnisse nur auf Computersysteme, die in Rechenzentren und am "Edge" betrieben werden, ein Begriff, der mittlerweile eine Vielzahl von Computersystemen umfasst, die nicht nur herkömmliche Rechenzentrumsmaschinen sind. Eine Tabelle wird für die Ergebnisse des Datencenters bereitgestellt, eine andere für die Edge.
Der jüngste Bericht enthielt keine Ergebnisse für die als TinyML bekannten Ultra-Low-Power-Geräte und für mobile Computer, die im April-Bericht mit Rechenzentren in einen Topf geworfen worden waren.
Insgesamt gingen für die Benchmarks 5.300 Einreichungen von Chipherstellern und -partnern sowie von Start-ups wie Neural Magic ein. Das waren fast vierzig Prozent mehr als in der letzten Runde, die im April gemeldet wurde.
Wie in der Vergangenheit erhielt Nvidia Bestnoten für die Beschleunigung der Inferenz in zahlreichen Aufgaben. Die A100-GPU von Nvidia dominierte die Anzahl der Einreichungen, wie es oft der Fall ist, da sie mit Prozessoren von Intel und Advanced Micro Devices in Systeme integriert wurde, die von einer Vielzahl von Partnern entwickelt wurden, darunter Alibaba, ASUSTeK, Microsoft Azure, Biren, Dell, Fujitsu, GIGABYTE, H3C, Hewlett Packard Enterprise, Inspur, Intel, Krai, Lenovo, OctoML, SAPEON und Supermicro.
Zwei Beiträge wurden von Nvidia selbst mit der Hopper-GPU mit der Bezeichnung "H100" im Rechenzentrumssegment der Ergebnisse eingereicht. Ein System wurde von einer AMD EPYC CPU als Host-Prozessor begleitet, ein anderes von einer Intel Xeon CPU.
In beiden Fällen ist bemerkenswert, dass die Hopper-GPU, obwohl es sich um einen einzigen Chip handelte, sehr gute Noten erzielte und in vielen Fällen Systeme mit zwei, vier oder acht A100-Chips übertraf.
Die Hopper-GPU wird voraussichtlich noch in diesem Jahr im Handel erhältlich sein. Nvidia sagte, dass es erwartet, Anfang 2023 seinen kommenden "Grace"-CPU-Chip auf den Markt zu bringen, der mit Intel- und AMD-CPUs konkurrieren wird, und dieser Teil wird ein Begleitchip für Hopper in Systemen sein.
Neben Nvidia hat auch der Mobilfunkchip-Riese Qualcomm neue Ergebnisse für seinen Cloud AI 100-Chip vorgestellt, einen neuartigen Beschleuniger, der für Aufgaben des maschinellen Lernens entwickelt wurde. Qualcomm hat in dieser Runde neue Systempartner hinzugefügt, darunter Dell und Hewlett Packard Enterprise und Lenovo, und die Anzahl der Einreichungen mit seinem Chip erhöht.
Während das Bake-off zwischen Chip- und Systemherstellern tendenziell die Schlagzeilen beherrscht, tauchen in MLPerf immer mehr clevere Forscher mit neuartigen Ansätzen auf, die mehr Leistung aus der gleichen Hardware herausholen können.
Zu den Beispielen der Vergangenheit gehörte OctoML, das Startup, das versucht, die Strenge von DevOps in die Ausführung von maschinellem Lernen zu bringen.
Diesmal bot das vier Jahre alte, risikokapitalfinanzierte Start-up Neural Magic einen interessanten Ansatz an. Die Technologie des Unternehmens stammt zum Teil aus der Forschung der Gründer Nir Shavit, einem Wissenschaftler am MIT, und Alex Matveev, einem ehemaligen MIT-Forscher und CTO des Unternehmens.
Die Arbeit deutet auf einen möglichen Durchbruch bei der Verschlankung des Rechenbedarfs eines neuronalen Netzes hin.
Die Technologie von Neural Magic trainiert ein neuronales Netz und findet heraus, welche Gewichte ungenutzt bleiben können. Anschließend werden diese Gewichtungen auf einen Nullwert gesetzt, sodass sie nicht vom Computerchip verarbeitet werden.
Dieser Ansatz, der als Beschneiden bezeichnet wird, besteht darin, die unerwünschten Äste eines Baumes zu entfernen. Es ist jedoch auch Teil eines breiteren Trends im Bereich des Deep Learning, der seit Jahrzehnten als "Sparsity" bekannt ist. Bei spärlichen Ansätzen des maschinellen Lernens können einige Daten und einige Teile von Programmen für praktische Zwecke als unnötige Informationen angesehen werden.
Neuronale Magie findet Wege, um die Gewichtung neuronaler Netze zu verringern, die Tensorstrukturen, die einen Großteil des Speicher- und Bandbreitenbedarfs eines neuronalen Netzes beanspruchen. Das ursprüngliche Netzwerk von m:n-verbundenen Schichten wird beschnitten, bis nur noch einige Verbindungen übrig sind, während die anderen auf Null gesetzt werden. Der Pruning-Ansatz ist Teil eines größeren Prinzips des maschinellen Lernens, das als Sparsity bekannt ist.
Eine andere Technik, die Quantisierung, wandelt einige Zahlen in einfachere Darstellungen um. Beispielsweise kann eine 32-Bit-Gleitkommazahl in einen 8-Bit-Skalarwert komprimiert werden, der einfacher zu berechnen ist.
Die Neural Magic-Technologie fungiert als eine Art Konvertierungstool, mit dem ein Data Scientist automatisch die Teile seines neuronalen Netzwerks finden kann, die sicher verworfen werden können, ohne die Genauigkeit zu beeinträchtigen.
Der Vorteil, so der Projektleiter von Neural Magic, besteht nicht nur darin, die Anzahl der Berechnungen zu reduzieren, die ein Prozessor verarbeiten muss, sondern auch darin, dass die Menge reduziert wird, die eine CPU außerhalb des Chips zu einem externen Speicher wie DRAM führen muss, der alles verlangsamt.
"Sie entfernen 90 % der Parameter und Sie entfernen 90 % der FLOPs, die Sie benötigen", sagte Goin von Neural Magic und bezog sich dabei auf "Gleitkommaoperationen pro Sekunde", ein Standardmaß dafür, wie schnell ein Prozessor Berechnungen ausführt.
Darüber hinaus "ist es für CPUs sehr einfach, die Speicherbandbreite zu begrenzen", sagte Goin. "Das Verschieben großer Tensoren erfordert viel Speicherbandbreite, worin CPUs schlecht sind", bemerkte Goin. Tensoren sind die Strukturen, die Werte von neuronalen Netzwerkgewichten organisieren und die im Speicher aufbewahrt werden müssen.
Mit Pruning kann die CPU Vorteile gegenüber einer GPU haben, sagt Neural Magic. Auf der linken Seite muss die GPU ein ganzes neuronales Netzwerk mit all seinen Gewichten ausführen, um die hochparallelisierte Schaltung der GPU zu füllen. Auf der rechten Seite ist eine CPU in der Lage, reichlich L3-Cache-Speicher auf dem Chip zu verwenden, um Tensoren aus dem lokalen Speicher auszuführen, die als Tensorspalten bezeichnet werden, ohne auf Off-Chip-DRAM zugreifen zu müssen.
Neural Magic reichte Ergebnisse in den Kategorien Datacenter und Edge ein, bei denen Systeme mit zwei Intel Xeon 8380-Chips mit 2,3 Gigahertz verwendet wurden. Die Kategorie, die Neural Magic wählte, war die Kategorie "Open" sowohl für Datacenter als auch für Edge, in der Einreicher einzigartige Softwareansätze verwenden dürfen, die nicht den Standardregeln für die Benchmarks entsprechen.
Das Unternehmen nutzte seine neuartige Laufzeit-Engine namens DeepSparse, um eine von Google entwickelte Version des neuronalen Netzwerks BERT zur Verarbeitung natürlicher Sprache auszuführen.
Durch das Beschneiden des BERT-Netzwerks konnte die stark reduzierte Größe der Gewichte im lokalen Speicher der CPU gespeichert werden, anstatt vom Chip zum DRAM zu gelangen.
Moderne CPUs verfügen über einen großen lokalen Speicher, der als Caches bezeichnet wird und in dem häufig verwendete Werte gespeichert werden können. Der sogenannte Level-3-Cache auf den meisten Serverchips wie Xeon kann Dutzende von Megabyte an Daten speichern. Die Neural Magic DeepSparse-Software reduziert die Dateigröße des BERT-Programms von 1,3 Gigabyte auf nur 10 Megabyte .
"Jetzt, da die Gewichte ziemlich klein sein können, können Sie sie in die Caches einpassen und genauer gesagt, mehrere Operationen in diese verschiedenen Cache-Ebenen einpassen, um eine effektivere Speicherbandbreite zu erhalten, anstatt auf DRAM angewiesen zu sein", sagte Goin gegenüber ZDNet.
Das DeepSparse-Programm zeigte eine drastisch höhere Anzahl von verarbeiteten Abfragen pro Sekunde als viele der Standardsysteme.
Im Vergleich zu den Ergebnissen in der "geschlossenen" Version des ResNet-Rechenzentrumstests, bei der strenge Softwareregeln eingehalten werden, konnte die einzelne Intel-CPU von Neural Magic zahlreiche Einreichungen mit mehreren Nvidia-Beschleunigern übertreffen, darunter von Hewlett Packard Enterprise und von Nvidia selbst.
In einem repräsentativeren Vergleich verarbeitete ein Dell PowerEdge-Server mit zwei Intel Xeons nur 47,09 Abfragen pro Sekunde, während eine der Neural Magic-Maschinen 928,6 Abfragen pro Sekunde produzieren konnte, was einer Beschleunigung um eine Größenordnung entspricht.
Das Intel Xeon-basierte System von Neural Magic lieferte Ergebnisse eine Größenordnung schneller als ein Dell-System bei gleicher Genauigkeit, obwohl 60 % der Gewichte des neuronalen BERT-Netzwerks auf Null gesetzt wurden.
Bei der Version von BERT, die von Neural Magics DeepSparse verwendet wurde, wurden 60 % der Gewichte entfernt, wobei zehn Schichten künstlicher Neuronen auf Null gesetzt wurden, so dass nur 14 übrig blieben, während der Dell-Computer an der intakten Standardversion arbeitete. Nichtsdestotrotz produzierte die neuronale Magie immer noch Vorhersagen, die innerhalb von 1 % des standardmäßigen Genauigkeitsmaßes von 99 % für die Vorhersagen lagen.
Neural Magic beschrieb seine Fähigkeit, das BERT-Verarbeitungsprogramm für natürliche Sprache in unterschiedlichem Maße zu beschneiden.
Neural Magic hat einen eigenen Blogbeitrag veröffentlicht, in dem die Errungenschaft beschrieben wird.
Die Arbeit von Neural Magic hat weitreichende Auswirkungen auf die KI und die Chip-Community. Wenn neuronale Netze so abgestimmt werden können, dass sie weniger ressourcenhungrig sind, könnte dies eine Möglichkeit bieten, das ständig wachsende Energiebudget des maschinellen Lernens einzudämmen.
"Wenn man an die tatsächlichen Kosten für die Bereitstellung einer Box für Inferenz denkt, gibt es viel zu tun bei der Laufzeit-Engine, aber es gibt noch mehr zu tun in Bezug auf die Community für maschinelles Lernen, indem man ML-Ingenieuren und Datenwissenschaftlern mehr Werkzeuge zur Verfügung stellt, um ihre Modelle zu optimieren. ", sagte Goin gegenüber ZDNet.
"Wir haben eine große Roadmap", sagte Goin. "Wir wollen die Optimierung für mehr Menschen öffnen."
"Wenn wir ein Modell auf 95 % seines Gewichts beschneiden können, warum machen das dann nicht alle?", sagte Goin.
Sparsity, so Goin, "wird wie eine Quantisierung sein, es wird etwas sein, das jeder aufgreift, wir stehen nur am Rande davon."
Für die Chipindustrie bedeutet die Tatsache, dass Neural Magic in der Lage war, die Vorteile von X86-Chips zu demonstrieren, dass viel mehr Arten von Chipansätzen sowohl für die Inferenz als auch für das Training praktikabel sein könnten. Neural Magic ging Anfang des Jahres eine Partnerschaft mit Advanced Micro Devices ein, Intels größtem Konkurrenten für x86-CPUs, und zeigte, dass die Arbeit nicht nur auf Intel-Chips beschränkt ist.
Die Wissenschaftler von Intel wandten sich letztes Jahr sogar an Neural Magic, als sie sich daran machten, beschnittene Modelle von BERT zu erstellen. In einer Arbeit von Ofir Zafrir und Kollegen von Intel Labs in Israel wurde der neuronale Magie-Ansatz mit dem Namen "Gradual Magnitude Pruning" mit einem Intel-Ansatz namens "Learning Rate Rewinding" kombiniert. Die Kombination der beiden führte zu einem minimalen Verlust an Genauigkeit, berichteten die Autoren.
Goin geht davon aus, dass Neural Magic in Zukunft ARM-basierte Systeme hinzufügen wird. "Ich würde gerne in der Lage sein, eine MLPerf-Einreichung direkt von diesem MacBook Pro aus hier durchzuführen", sagte Goin und bezog sich dabei auf das Silizium der M-Serie des Mac, das den ARM-Befehlssatz verwendet.
Neural Magic, derzeit fast 40 Mitarbeiter, hat im vergangenen Jahr 30 Millionen US-Dollar an Risikokapital aufgebracht und hat laut Goin eine "Startbahn bis 2024". Das Unternehmen monetarisiert seinen Code, indem es eine Lizenz zur Nutzung der DeepSparse-Laufzeit-Engine verkauft. "Wir sehen das größte Interesse an Dingen wie natürlicher Sprachverarbeitung und Computer Vision am Rande", sagte Goin.
Der Einzelhandel ist ein wirklich großer potenzieller Bereich für Anwendungsfälle, sagte Goin, ebenso wie die Fertigung und IoT-Anwendungen. Aber die Anwendbarkeit ist wirklich eine beliebige Anzahl von bescheidenen Systemen da draußen auf der Welt, die keine ausgefallenen Beschleuniger haben und vielleicht nie über eine solche Hardware verfügen. "Es gibt Branchen, die es schon seit Jahrzehnten gibt und in denen CPUs überall sind", beobachtete Goin. "Du gehst in das Hinterzimmer eines Starbucks, sie haben ein Rack mit Servern im Schrank."
Neben anderen bemerkenswerten Premieren für MLPerf war der Cloud-Riese Alibaba das erste und einzige Unternehmen, das ein System aus mehreren Maschinen in einem Wettbewerb einreichte, der normalerweise ein Wettbewerb um einzelne Maschinen ist.
Alibaba reichte fünf Systeme ein, die aus Variationen von zwei bis sechs Knoten bestehen und mit einer Mischung aus Intel Xeon- und Nvidia-GPUs laufen. Ein Alibaba-Softwareprogramm namens Sinian vODLA verteilt die Aufgaben eines neuronalen Netzes automatisch auf verschiedene Prozessoren auf die verschiedenen Computer.
Das auffälligste Merkmal ist, dass die Sinian-Software spontan entscheiden kann, Aufgaben eines neuronalen Netzes auf verschiedene Arten von Prozessoren aufzuteilen, einschließlich einer Vielzahl von Nvidia-GPUs, nicht nur auf einen, so dass der Unterschied in der Kapazität jedes Prozessors kein Hindernis, sondern ein potenzieller Vorteil ist.
"Das ist die Zukunft, heterogenes Computing", sagte Weifeng Zhang, der bei Alibaba als Chefwissenschaftler für heterogenes Computing verantwortlich ist, in einem Interview mit ZDNet.
Die Benchmark-Ergebnisse des Alibaba Cloud Servers zeigten einige atemberaubende Zahlen. Bei der BERT-Sprachaufgabe konnte ein System mit vier Knoten und insgesamt 32 Nvidia-GPUs über 90.000 Abfragen pro Sekunde ausführen. Das sind 27 % schneller als die Gewinnereinreichung in der Kategorie "Geschlossen" für Rechenzentrumsmaschinen, eine einzelne Maschine von Inspur mit 24 GPUs.
Ein Alibaba-Cloud-Computer, der aus vier separaten Computern besteht, die als ein einziger Computer arbeiten, war in der Lage, 32 Nvidia-GPUs zu marshallen, um Ergebnisse siebenundzwanzig Prozent schneller zu erzielen als das Top-Einzelsystem, eine 24-Chip-Maschine von Inspur.
"Der Wert dieser Arbeit kann als einfach, effizient und wirtschaftlich zusammengefasst werden", sagte Zhang gegenüber ZDNet.
In Bezug auf den ersten Punkt, die Benutzerfreundlichkeit, "können wir die Heterogenität der Rechenhardware abstrahieren und sie für die Kunden eher wie einen riesigen Pool von Ressourcen gestalten", erklärte Zhang.
Wie man mehrere Computer als einen arbeiten lässt, ist ein Bereich der Informatik, der mit dem Aufkommen der sehr großen neuronalen Netze wieder an Bedeutung gewinnt. Die Entwicklung von Softwaresystemen zur Aufteilung der Arbeit auf viele Computer ist jedoch eine mühsame Aufgabe, die für die meisten industriellen KI-Anwender unerreichbar ist.
Nvidia hat Wege gefunden, seine GPUs zu partitionieren, um sie zu Multi-Tenant-Chips zu machen, bemerkte Zhang, der als "MIG" bezeichnet wird, eine GPU mit mehreren Instanzen.
Das sei ein Anfang, aber Alibaba hoffe, darüber hinauszugehen. "MIG unterteilt die GPU in sieben kleine Komponenten, aber wir wollen dies verallgemeinern, um über die physischen Grenzen hinauszugehen und die Ressourcenzuweisung nach tatsächlichem Bedarf zu nutzen", erklärte Zhang.
"Wenn Sie ResNet-50 ausführen, verwenden Sie vielleicht nur 10 TOPs an Rechenleistung", was bedeutet, Billionen von Operationen pro Sekunde. Selbst eine der MIGs sei wahrscheinlich mehr, als ein Benutzer brauche, sagte er. "Wir können eine feinkörnigere Allokation vornehmen", mit Sinian, "so dass vielleicht hundert Benutzer gleichzeitig [eine einzelne GPU] verwenden können."
Was den zweiten Punkt, die Effizienz, betrifft, so Zhang, so Zhang, werden die meisten Chips selten so oft verwendet, wie sie sein könnten. Aufgrund einer Vielzahl von Faktoren, wie z. B. Speicher- und Festplattenzugriffszeiten und Bandbreitenbeschränkungen, erreichen GPUs manchmal eine Auslastung von weniger als 50 %, was eine Verschwendung ist. Manchmal sind das nur 10 Prozent, bemerkte Zhang.
"Wenn Sie einen Computer mit 8 PCIe-Steckplätzen verwenden würden", der Chips mit dem Speicher verbindet, "würden Sie weniger als 50 % Ihrer Ressourcen verbrauchen, weil das Netzwerk der Engpass ist." Indem wir uns zuerst um das Netzwerkproblem kümmern, "können wir in dieser Einreichung eine viel höhere Auslastung erreichen."
Vielleicht genauso wichtig ist, dass der Stromverbrauch in einer einzigen Box zu einem heiklen Thema wird, da die Maschinen auf immer mehr Chips skaliert werden. "Angenommen, Sie können 32 Steckplätze auf Ihrem Motherboard bauen" für GPUs, erklärte Zhang, "Sie erhalten vielleicht das gleiche Ergebnis, aber mit 32 PCIe-Steckplätzen auf dem Motherboard verdreifacht sich Ihre Stromversorgung."
Das sei ein großes Problem, wenn es darum gehe, Green Computing zu erreichen, sagte er.
Das dritte Problem, die Wirtschaft, bezieht sich darauf, wie Kunden von Alibaba Instanzen kaufen. "Das ist wichtig für uns, denn wir haben viele Geräte, nicht nur GPUs, und wir wollen sie alle nutzen", sagte Zhang. "Unsere Kunden sagen, dass sie die neuesten [Chips] verwenden möchten, aber das ist vielleicht nicht genau das, was sie brauchen, also wollen wir sicherstellen, dass alles im Pool für den Benutzer verfügbar ist, einschließlich A100 [GPUs], aber auch ältere Technologie."
"Solange wir ihr Problem lösen und ihnen mehr wirtschaftliche Ressourcen zur Verfügung stellen, wird dies wahrscheinlich mehr Geld für unsere Kunden sparen - das ist im Grunde die Hauptmotivation für uns, daran zu arbeiten."
Wenn Sie mehr über die Arbeit von Alibaba erfahren möchten, ist ein guter Ausgangspunkt ein Folienspiel, das Zhang im Juni verwendete, um einen Vortrag auf dem International Symposium on Computer Architecture zu halten.
Die Arbeit von Alibaba ist besonders faszinierend, da Spezialisten auf dem Gebiet der Computernetzwerke seit einiger Zeit über ein zweites Netzwerk sprechen, das sich hinter dem lokalen Netzwerk befindet, eine Art dediziertes KI-Netzwerk, nur für den massiven Bandbreitenbedarf von Deep Learning.
In diesem Sinne befassen sich sowohl Alibabas Netzwerk-Unterwerfung als auch die Seltenheit von Neural Magic mit dem übergreifenden Problem des Speicherzugriffs und der Bandbreite, von denen viele in der Branche sagen, dass sie weitaus größere Hindernisse für Deep Learning darstellen als der Rechenteil selbst.