Meta sagt, dass es bald den schnellsten KI-Supercomputer der Welt haben wird
Letztendlich möchte das Unternehmen, das früher als Facebook bekannt war, mit dem AI Research SuperCluster-System bei der Entwicklung von KI für das Metaverse helfen.
Mitte 2022 wird Meta den seiner Meinung nach schnellsten KI-Supercomputer der Welt kontrollieren. Das System mit dem Namen AI Research SuperCluster (RSC) läuft bereits und gehört zu den schnellsten KI-Supercomputern der Welt, teilte das Unternehmen am Montag in einem Blogbeitrag mit.
Die Entwicklung des RSC ist noch nicht abgeschlossen, aber sobald die zweite Phase in der zweiten Hälfte dieses Jahres abgeschlossen ist, wird das System fast 5 Exaflops an Mixed-Precision-Computing liefern.
Meta, früher bekannt als Facebook, nutzt den Supercomputer bereits, um große Modelle in Natural Language Processing (NLP) und Computer Vision für die Forschung zu trainieren. Das Unternehmen verwendet groß angelegte KI-Modelle für laufende Prioritäten, wie z. B. die Erkennung schädlicher Inhalte auf seinen sozialen Plattformen. Letztendlich will das Unternehmen jedoch Modelle mit Billionen von Parametern trainieren, um das Metaverse zu unterstützen - die virtuelle Welt, die Meta mit seinen Plattformen und Produkten unterstützen will.
"Die Erfahrungen, die wir für das Metaverse entwickeln, erfordern eine enorme Rechenleistung (Trillionen von Operationen/Sekunde!) und RSC wird neue KI-Modelle ermöglichen, die aus Billionen von Beispielen lernen, Hunderte von Sprachen verstehen und vieles mehr können", sagte Meta-CEO Mark Zuckerberg in einer Erklärung.
Derzeit umfasst RSC insgesamt 760 Nvidia DGX A100-Systeme als Rechenknoten mit insgesamt 6.080 GPUs. Die GPUs kommunizieren über eine Nvidia Quantum 200Gb/s InfiniBand Two-Level Clos Fabric, die keine Überbelegung aufweist. Die Speicherebene von RSC verfügt über 175 Petabyte Pure Storage FlashArray, 46 Petabyte Cache-Speicher in Penguin Computing Altus-Systemen und 10 Petabyte Pure Storage FlashBlade.
Zum Vergleich: Der KI-Supercomputer Perlmutter des US-Energieministeriums, der im vergangenen Sommer als schnellster KI-Supercomputer der Welt vorgestellt wurde, liefert mit 6.159 Nvidia A100 Tensor Core-GPUs fast vier Exaflops Leistung mit gemischter Präzision.
Wenn Metas RSC fertiggestellt ist, wird die InfiniBand-Netzwerkstruktur 16.000 GPUs als Endpunkte verbinden, was sie zu einem der größten bisher eingesetzten Netzwerke dieser Art macht. Darüber hinaus hat Meta ein Caching- und Speichersystem entwickelt, das 16 TB/s an Trainingsdaten verarbeiten kann. Das Unternehmen plant, es auf bis zu 1 Exabyte zu skalieren - das entspricht 36.000 Jahren hochwertiger Videoqualität.
RSC ersetzt die 2017 entwickelte Legacy-Infrastruktur von Meta, die über 22.000 Nvidia V100 Tensor Core-GPUs in einem einzigen Cluster verfügt und 35.000 Trainingsaufträge pro Tag ausführt. Erste Benchmarks auf RSC deuten darauf hin, dass es Computer-Vision-Workflows bis zu 20-mal schneller ausführt als das alte System, die Nvidia Collective Communication Library (NCCL) mehr als 9-mal schneller ausführt und große NLP-Modelle 3-mal schneller trainiert.
Während die bisherige KI-Forschungsinfrastruktur von Meta nur Open-Source- und andere öffentlich zugängliche Datensätze verwendete, enthält RSC Datenschutz- und Sicherheitskontrollen, die es ihm ermöglichen, Modelle mit realen Daten aus den Produktionssystemen von Meta zu unterrichten.
RSC nutzt verschlüsselte, benutzergenerierte Daten, die direkt vor dem Training entschlüsselt werden. Das System verfügt über keine direkten ein- oder ausgehenden Verbindungen zum Internet, und der Datenverkehr kann nur aus den Produktionsrechenzentren von Meta fließen. Der gesamte Datenweg von den Speichersystemen von Meta zu den GPUs ist Ende-zu-Ende-verschlüsselt. Bevor Daten in RSC importiert werden, müssen sie einen Datenschutzüberprüfungsprozess durchlaufen, um zu bestätigen, dass sie korrekt anonymisiert wurden. Die Daten werden dann verschlüsselt, bevor sie zum Trainieren von KI-Modellen verwendet werden können, und Entschlüsselungsschlüssel werden regelmäßig gelöscht, um sicherzustellen, dass ältere Daten nicht mehr zugänglich sind.