Nvidia, Dell und Qualcomm beschleunigen KI-Ergebnisse in neuesten Benchmark-Tests
Dies wird dazu beitragen, die steigenden Rechenkosten für die Ausführung von KI-Programmen einzudämmen.
Nvidias grafische Darstellung von KI-Aufgaben.
Im neuesten Benchmark-Test für künstliche Intelligenz haben Nvidia, Dell, Qualcomm und eine Reihe von Startups neuartige Techniken eingesetzt, um das Rechenbudget für die Beantwortung von Fragen zu reduzieren und dabei gleichzeitig Strom zu sparen.
Dies könnte dazu beitragen, den steigenden Rechenbedarf für die Ausführung immer größerer KI-Programme wie ChatGPT und GPT-4 von OpenAI einzudämmen.
Am Dienstag präsentierte MLCommons, das Konsortium, das die MLPerf-Tests durchführt, den neuesten Benchmark-Test, wie schnell ein neuronales Netzwerk betrieben werden kann, um Vorhersagen zu treffen. Führende Anbieter wie Nvidia, Dell, Qualcomm und Supermicro reichten Computersysteme mit unterschiedlichen Chipkonfigurationen ein, um herauszufinden, welche Systeme die Bestnote erhielten.
Sie wetteiferten darum, entweder die höchste Anzahl an Fragen zu liefern, die pro Sekunde beantwortet werden konnten, die kürzeste Zeit für die Beantwortung, die sogenannte Latenz, oder den geringsten Stromverbrauch - die Energieeffizienz - zu liefern.
Eine Schar interessanter Startups nahm ebenfalls teil, darunter Neural Magic, xFusion, cTuning, Nettrix, Neuchips, Moffett und Krai.
Die als „MLPerf Inference 3.0“ bezeichneten Testergebnisse emulieren die Rechenoperationen, die stattfinden, wenn ein trainiertes neuronales Netzwerk mit neuen Daten gefüttert wird und als Ergebnis Schlussfolgerungen ziehen muss.
Der Benchmark misst, wie schnell ein Computer eine Antwort für eine Reihe von Aufgaben liefern kann, einschließlich ImageNet, bei dem die Herausforderung für das neuronale Netzwerk darin besteht, einem Foto eine von mehreren Beschriftungen zuzuweisen, die das Objekt auf dem Foto beschreiben, beispielsweise eine Katze oder einen Hund.
Die Testergebnisse folgen der im September gemeldeten MLPerf-Inferenz 2.1.
Die MLCommons stellten in einer Pressemitteilung fest, dass die von mehreren Anbietern vorgelegten Ergebnisse „deutliche Leistungssteigerungen von über 60 % in einigen Benchmark-Tests“ zeigen.
Bei den Benchmarks konkurrieren Chip- und Systemhersteller darum, wie gut sie bei Messungen wie der Anzahl der in einer Sekunde verarbeiteten Fotos abschneiden oder wie niedrig sie die Latenz, also die Gesamtumlaufzeit für das Senden einer Anfrage, erreichen können an den Computer gesendet und eine Vorhersage zurückgegeben werden.
Die gemeldeten Ergebnisse beziehen sich auf Computersysteme, die in Rechenzentren und am „Edge“ betrieben werden, ein Begriff, der mittlerweile eine Vielzahl anderer Computersysteme als herkömmliche Rechenzentrumsmaschinen umfasst. Eine Tabelle listet die Ergebnisse für alle verschiedenen Segmente von Rechenzentrum und Edge auf.
Die Ergebnisse zeigten, dass sich mehr Unternehmen an den Benchmark-Tests beteiligten. MLCommons sagte, dass „eine rekordverdächtige Zahl von 25 einreichenden Organisationen“ „über 6.700 Leistungsergebnisse und mehr als 2.400 Leistungs- und Energieeffizienzmessungen“ eingereicht habe. Das sind 5.300 Leistungsmessungen und 2.400 Leistungsmessungen im September.
Die Einreichungen sind in zwei Kategorien eingeteilt: „geschlossen“ und „offen“. In der ersten Kategorie befolgen die verschiedenen Einsender strenge Regeln für die Ausführung der KI-Software, was einen möglichst direkten Vergleich von Systemen auf Augenhöhe ermöglicht.
Im letzteren Fall ist es den Einreichern gestattet, einzigartige Softwareansätze zu verwenden, die nicht den Standardregeln für die Benchmarks entsprechen und so einige neuartige Innovationen hervorbringen.
Wie so oft erhielt Nvidia, der führende Anbieter von GPUs zur Ausführung von KI, bei den meisten Tests viele Auszeichnungen für seine Leistung. Nvidias System, das auf zwei Intel In einer der sechs Aufgaben belegte ein Dell-System mit einer nahezu identischen Konfiguration von Intel- und Nvidia-Chips den Spitzenplatz.
Mehr zu den Ergebnissen von Nvidia finden Sie im Blogbeitrag des Unternehmens.
Qualcomm konnte den Abfragedurchsatz für das BERT-Sprachprogramm im Vergleich zu den Ergebnissen der vorherigen 2.1-Runde um das Dreifache steigern, so das Unternehmen. Ein von Qualcomm eingereichtes System, das zwei AMD EPYC-Serverchips und 18 der KI-Beschleunigerchips „AI100“ von Qualcomm verwendet, erhielt die höchste Punktzahl für die offene Abteilung der Rechenzentrumscomputer bei der BERT-Aufgabe. Seine Leistung, ein Durchsatz von 53.024 Anfragen an das BERT-Netzwerk pro Sekunde, lag nur knapp hinter dem Spitzenwert von Nvidia in der geschlossenen Division.
Zu den neuen Teilnehmern gehörte cTuning mit Sitz in Paris, eine gemeinnützige Organisation, die Open-Source-Tools für KI-Programmierer entwickelt, um Benchmark-Testergebnisse auf verschiedenen Hardwareplattformen zu reproduzieren.
CTuning belegte in der geschlossenen Kategorie bei vier von fünf Aufgaben im Benchmark für Edge Computing den Spitzenplatz für die niedrigste Latenz, also die kürzeste Zeit von der Übermittlung einer Anfrage bis zur Antwort.
Der wiederkehrende Inferenzkandidat Neural Magic, ein von Nir Shavit, einem Wissenschaftler am MIT, mitbegründetes, von Nir Shavit, einem Wissenschaftler am MIT, mitbegründetes, von Risikokapital finanziertes Startup, brachte erneut seine spezielle Software zum Einsatz, die herausfinden kann, welche „neuronalen Gewichte“ eines neuronalen Netzwerks ungenutzt bleiben können, so dass sie es sind nicht vom Computerchip verarbeitet, wodurch Rechenaufwand eingespart wird.
Die DeepSparse-Software des Unternehmens ist in der Lage, nur den Host-Prozessor, einen x86-Chip von Intel, AMD oder künftig auch ARM-basierte Chips zu nutzen, ohne jegliche Unterstützung durch die Nvidia-GPUs.
Beim BERT-Sprachtest in der offenen Abteilung für Edge Computing nutzte die DeepSparse-Software von Neural Magic zwei AMD EPYC-Serverprozessoren, um 5.578 Antworten pro Sekunde vom neuronalen Netzwerk BERT von Google zu erhalten. Das lag nur knapp hinter dem zweiten Platz des Computers von Supermicro in der geschlossenen Sparte, die aus zwei Xeon-Prozessoren und einer Nvidia-Hopper-GPU bestand.
Das Unternehmen argumentiert, dass der Einsatz gängiger x86-Chips anstelle teurerer GPUs dazu beitragen wird, KI auf mehr Unternehmen und Institutionen auszudehnen, indem die Gesamtkosten für die Ausführung der Programme gesenkt werden.
„Mit dieser Consumer-Hardware können Sie viel mehr herausholen“, sagte Michael Goin, Produktentwicklungsleiter bei Neural Magic, in einem Interview mit ZDNET. „Dies sind die gleichen AMD-Chips, die Unternehmen bereits in ihren Geschäften oder Einzelhandelsstandorten verwenden, um Verkäufe, Lagerbestände und Logistik abzuwickeln.“
Mehr zum Ansatz von Neural Magic finden Sie im Blogbeitrag des Unternehmens