Wie IBMs Blaupause für die Branchentransformation KI, 5G und Zusammenarbeit nutzt
Dutzende von Start-ups erhalten weiterhin Dutzende von Millionen an Risikokapital, um Chips für KI in mobilen und anderen Embedded-Computing-Anwendungen herzustellen. Das Rennen zeigt keine Anzeichen einer Verlangsamung.
Chips zur Durchführung von KI-Inferenz auf Edge-Geräten wie Smartphones sind auch Jahre nach dem Aufkommen des Feldes ein heißer Markt, der immer mehr Start-ups und immer mehr Risikokapital anzieht, so ein bekanntes Chip-Analystenunternehmen, das sich mit diesem Bereich befasst.
"Es gibt immer mehr neue Start-ups, die weiterhin versuchen, sich zu differenzieren", sagt Mike Demler, Senior Analyst bei The Linley Group, die den viel gelesenen Microprocessor Report herausgibt, in einem Telefoninterview mit ZDNet.
Die Linley Group veranstaltet jedes Jahr zwei Konferenzen im Silicon Valley, auf denen zahlreiche Startups zu Gast sind, das Spring and Fall Processor Forum, wobei in den letzten Jahren der Schwerpunkt auf diesen KI-Startups lag.
Bei der jüngsten Veranstaltung, die im Oktober sowohl virtuell als auch persönlich in Santa Clara, Kalifornien, stattfand, war die Konferenz vollgepackt mit Startups wie EdgeCortix, Flex Logix, Hailo Technologies, Roviero, BrainChip, Syntiant, Untether AI, Expedera und Deep AI, die kurze Vorträge über ihre Chipdesigns hielten.
Demler und sein Team erstellen regelmäßig einen Forschungsbericht mit dem Titel "Guide to Processors for Deep Learning", dessen neueste Version diesen Monat veröffentlicht werden soll. "Ich zähle mehr als 60 Chip-Anbieter in dieser neuesten Ausgabe", sagte er gegenüber ZDNet.
Edge-KI ist zu einem Sammelbegriff geworden, der sich hauptsächlich auf alles bezieht, was sich nicht in einem Rechenzentrum befindet, obwohl er auch Server am Rande von Rechenzentren umfassen kann. Es reicht von Smartphones bis hin zu eingebetteten Geräten, die mit dem TinyML-Framework für mobile KI von Google Mikrowatt Strom verbrauchen.
Der mittlere Teil dieses Bereichs, in dem Chips von wenigen Watt Leistung bis zu 75 Watt verbrauchen, ist ein besonders überfüllter Teil des Marktes, sagte Demler, normalerweise in Form einer steckbaren PCIe- oder M.2-Karte. (75 Watt ist die PCI-Bus-Grenze in Geräten.)
"PCIe-Karten sind das heiße Segment des Marktes, für KI für die Industrie, für die Robotik, für die Verkehrsüberwachung", erklärte er. "Sie haben Unternehmen wie Blaize und FlexLogic gesehen - viele dieser Unternehmen zielen auf dieses Segment ab."
Aber wirklich stromsparend ist auch ziemlich aktiv. "Ich würde sagen, dass das tinyML-Segment genauso heiß ist. Dort haben wir Chips, die von wenigen Milliwatt bis hin zu Mikrowatt reichen."
Die meisten Geräte sind für die "Inferenz"-Phase der KI bestimmt, in der künstliche Intelligenz Vorhersagen auf der Grundlage neuer Daten trifft.
Die Inferenz erfolgt, nachdem ein neuronales Netzwerkprogramm trainiert wurde, was bedeutet, dass seine einstellbaren Parameter vollständig genug entwickelt wurden, um zuverlässig Vorhersagen zu treffen, und das Programm in Betrieb genommen werden kann.
Die anfängliche Herausforderung für die Startups, so Demler, bestehe darin, von einer schönen PowerPoint-Diashow zu funktionierendem Silizium zu gelangen. Viele beginnen mit einer Simulation ihres Chips, der auf einem feldprogrammierbaren Gate-Array läuft, und gehen dann entweder zum Verkauf eines fertigen System-on-Chip (SoC) über oder lizenzieren ihr Design als synthetisierbares IP, das in den Chip eines Kunden integriert werden kann.
"Wir sehen immer noch viele Startups, die sich absichern oder so viele Erlösmodelle wie möglich verfolgen", sagte Demler, "indem sie zunächst eine Demo auf einem FPGA durchführen und ihr Kern-IP zur Lizenzierung anbieten." Einige Startups bieten auch die FPGA-basierte Version als Produkt an."
Bei Dutzenden von Anbietern auf dem Markt stehen selbst diejenigen, die sich mit funktionierendem Silizium beschäftigen, vor der Herausforderung, etwas zu zeigen, das sich deutlich von anderen unterscheidet.
"Es ist schwer, etwas wirklich Anderes zu finden", sagte Demler. "Ich sehe diese Präsentationen, 'Weltneuheit' oder 'Weltbeste', und ich sage: Ja, nein, wir haben Dutzende gesehen."
Einige Unternehmen begannen mit einem so unterschiedlichen Ansatz, dass sie sich früh abhoben, aber einige Zeit brauchten, um Früchte zu tragen.
BrainChip Holdings aus Sydney, Australien, mit Sitz in Laguna Hills, Kalifornien, startete 2011 sehr früh mit einem Chip für den Umgang mit neuronalen Netzwerken, dem neuromorphen Ansatz für KI, der vorgibt, die Funktionsweise des menschlichen Gehirns genauer zu modellieren.
Das Unternehmen hat im Laufe der Jahre gezeigt, wie seine Technologie Aufgaben wie den Einsatz von maschinellem Sehen zur Identifizierung von Pokerchips im Casino ausführen kann.
"BrainChip hat diese Spiking-Architektur beharrlich verfolgt", sagte Demler. "Es hat eine einzigartige Fähigkeit, es kann wirklich auf dem Gerät lernen", wodurch sowohl Training als auch Inferenz durchgeführt werden.
BrainChip ist in gewisser Weise von allen Startups am weitesten gekommen: Es wird an der Börse gehandelt. Die Aktien des Unternehmens sind an der australischen Börse unter dem Ticker "BRN" notiert, und im vergangenen Herbst gab das Unternehmen American Depository Shares aus, die auf dem außerbörslichen US-Markt unter dem Ticker "BCHPY" gehandelt werden. Diese Aktien haben sich seitdem mehr als verdreifacht.
BrainChip fängt gerade erst an, Einnahmen zu erzielen. Das Unternehmen brachte im Oktober Mini-PCIe-Boards seines "Akida"-Prozessors für x86 und Raspberry Pi auf den Markt und kündigte letzten Monat neue PCIe-Boards für 499 US-Dollar an. Das Unternehmen erzielte im Dezemberquartal einen Umsatz von 1,1 Mio. US-Dollar, gegenüber 100.000 US-Dollar im Vorquartal. Der Gesamtumsatz für das Jahr betrug 2,5 Millionen US-Dollar, mit einem Betriebsverlust von 14 Millionen US-Dollar.
Einige andere exotische Ansätze haben sich in der Praxis als schwer umzusetzen erwiesen. Das 2012 gegründete Chip-Startup Mythic mit Sitz in Austin, Texas, hat den neuartigen Weg verfolgt, einige seiner Schaltkreise mit analoger Chip-Technologie zu versehen, bei der anstelle der Verarbeitung von Einsen und Nullen eine reellwertige Wellenform eines elektrischen Signals durch Manipulation berechnet wird.
"Mythic hat ein paar Chips entwickelt, aber noch keine Design-Wins bekannt gegeben, von denen wir wissen", bemerkte Demler. "Alle sind sich einig, dass analog theoretisch einen Vorteil bei der Energieeffizienz haben sollte, aber es wird viel schwieriger sein, etwas kommerziell Machbares zu erreichen."
Ein weiteres Startup, Syntiant, das auf der Processor Conference vorstellte, begann mit einem analogen Ansatz, entschied aber, dass Analog keine ausreichenden Leistungsvorteile bot und länger brauchte, um auf den Markt zu kommen, so Demler.
Syntiant aus Irvine, Kalifornien, wurde 2017 gegründet und hat sich auf eine sehr einfache Objekterkennung konzentriert, die mit geringem Stromverbrauch nur auf einem Feature-Phone oder einem Hearable betrieben werden kann.
"Auf einem Feature-Phone braucht man keinen App-Prozessor, daher ist die Syntiant-Lösung perfekt", bemerkte Demler.
Unabhängig vom Erfolg eines einzelnen Startups bedeutet der Nutzen spezieller Schaltkreise, dass die KI-Beschleunigung als Kategorie der Chiptechnologie Bestand haben wird, sagte Demler.
"KI wird in so vielen Bereichen so allgegenwärtig, einschließlich Automobilindustrie, Embedded-Verarbeitung, IoT, Mobilgeräten, PCs, Clouds usw., dass die Einbeziehung eines speziellen Beschleunigers alltäglich wird, genau wie GPUs für Grafiken."
Nichtsdestotrotz werden einige Aufgaben effizienter sein, wenn sie auf einer Allzweck-CPU, einem DSP oder einer GPU ausgeführt werden, sagte Demler. Aus diesem Grund erweitern Intel, Nvidia und andere ihre Architekturen mit speziellen Anweisungen, z. B. für die Vektorbehandlung.
Solange ein Venture-Capital-Markt, der mit Bargeld überschwemmt wird, tausend Blumen blühen lässt, werden weiterhin verschiedene Ansätze geprüft.
"Es gibt immer noch so viel VC-Geld da draußen, ich bin erstaunt über die Summe, die diese Unternehmen immer noch bekommen", sagte Demler.
Demler verweist auf riesige Finanzierungsrunden für die 2018 gegründete Sima.ai aus San Jose, Kalifornien, die ein sogenanntes "MLSoC" entwickelt, das sich auf die Reduzierung des Stromverbrauchs konzentriert. Das Unternehmen erhielt in seiner Serie-B-Finanzierungsrunde 80 Millionen US-Dollar.
Ein weiteres Unternehmen ist das 2017 gegründete Unternehmen Hailo Technologies aus Tel Aviv, das laut FactSet 320,5 Millionen US-Dollar aufgebracht hat, darunter 100 Millionen US-Dollar in der letzten Runde, und angeblich mit einer Milliarde US-Dollar bewertet wird
"Die Zahlen, die aus China kommen, sind, wenn sie wahr sind, noch erschütternder", sagte Demler. Die Finanzierung werde vorerst fortgesetzt, sagte er. "Solange die VC-Community nicht entscheidet, dass es etwas anderes gibt, in das sie investieren kann, werden diese Unternehmen überall auftauchen."
Irgendwann wird es zu einer Bereinigung kommen, aber wann dieser Tag kommen wird, ist nicht klar.
"Einige von ihnen müssen irgendwann weg", sinniert Demler. "Ob in 3 Jahren oder in 5 Jahren, wir werden viel weniger Unternehmen in diesem Bereich sehen."
Die nächste Konferenzveranstaltung, die Demler und seine Kollegen ausrichten werden, ist Ende April, das Spring Processor Forum, im Hyatt Regency Hotel in Santa Clara, aber mit Live-Streaming für diejenigen, die es nicht persönlich schaffen können.