Der 1,3-Milliarden-Dollar-Kauf von Databricks an das KI-Startup MosaicML ist ein Kampf um die Zukunft der Datenbank
MosaicML hat daran gearbeitet, mithilfe künstlicher Intelligenz eine Datenbank neu zu erfinden.
Naveen Rao, [links] Mitbegründer und CEO von MosaicML, und Hanlin Tang, Mitbegründer und CTO. Die Schulungstechnologien des Unternehmens werden auf „Building-Experten“ angewendet und nutzen große Sprachmodelle effizienter für den Umgang mit Unternehmensdaten.
Am Montag gab Databricks, ein zehn Jahre alter Softwarehersteller mit Sitz in San Francisco, bekannt, dass er für 1,3 Milliarden US-Dollar MosaikML übernehmen wird, ein drei Jahre altes Startup mit Sitz in San Francisco, das sich darauf konzentriert, KI über das Labor hinaus zu entwickeln.
Der Deal ist nicht nur ein Zeichen für die Begeisterung für Vermögenswerte auf dem brandheißen Markt für generative künstliche Intelligenz, sondern auch für die sich verändernde Natur des modernen Cloud-Datenbankmarktes.
Das aus Halbleiter-Veteranen bestehende MosaikML hat ein Programm namens Composer entwickelt, das es einfach und erschwinglich macht, jede Standardversion von KI-Programmen wie OpenAIs GPT zu nutzen und die Entwicklung dieses Programms, die Anfangsphase, die als Training eines bekannt ist, erheblich zu beschleunigen neurales Netzwerk.
Das Unternehmen führte in diesem Jahr cloudbasierte kommerzielle Dienste ein, bei denen Unternehmen gegen eine Gebühr sowohl ein neuronales Netzwerk trainieren als auch Inferenzen durchführen können, also Vorhersagen als Reaktion auf Benutzeranfragen erstellen.
Das tiefergehende Element des Ansatzes von MosaicML impliziert jedoch, dass ganze Bereiche der Arbeit mit Daten - wie beispielsweise die traditionelle relationale Datenbank - völlig neu erfunden werden könnten.
„Neuronale Netzwerkmodelle kann man sich tatsächlich fast wie eine Art Datenbank vorstellen, insbesondere wenn es um generative Modelle geht“, sagte Naveen Rao, Mitbegründer und CEO von MosaicML, gegenüber ZDNET in einem Interview vor dem Deal.
„Auf einer sehr hohen Ebene handelt es sich bei einer Datenbank um eine Reihe von Endpunkten, die normalerweise sehr strukturiert sind, also normalerweise Zeilen und Spalten mit Daten, und auf der Grundlage dieser Daten gibt es dann ein Schema, nach dem Sie organisieren es“, erklärte Rao.
Im Gegensatz zu einer traditionellen relationalen Datenbank wie Oracle oder einer Dokumentendatenbank wie MongdoDB, sagte Rao, wo das Schema vorbestimmt ist, wird bei einem großen Sprachmodell „das Schema aus [den Daten] entdeckt und erzeugt eine latente Darstellung.“ Basierend auf den Daten ist es flexibel.“ Und die Abfrage ist auch flexibel, im Gegensatz zu festen Suchvorgängen in einer Datenbank wie SQL, das herkömmliche Datenbanken dominiert.
„Im Grunde genommen“, fügte Rao hinzu, „haben Sie die Datenbank genommen und die Einschränkungen für ihre Eingaben, ihr Schema und ihre Ausgaben gelockert, aber es ist eine Datenbank.“ In Form eines großen Sprachmodells kann eine solche Datenbank darüber hinaus große Datenblöcke verarbeiten, die herkömmlichen strukturierten Datenspeichern entgangen sind.
„Ich kann eine ganze Reihe von Büchern eines Autors aufnehmen und Ideen und Beziehungen innerhalb dieser Bücher abfragen, was mit reinem Text nicht möglich ist“, sagte Rao.
Durch die clevere Eingabeaufforderung in einem LLM bietet der Eingabeaufforderungskontext flexible Möglichkeiten zum Abfragen der Datenbank. „Wenn Sie es richtig auffordern, wird es aufgrund des durch die Aufforderung geschaffenen Kontexts etwas produzieren“, erklärte Rao. „Und man kann daraus Aspekte der Originaldaten abfragen, was ein ziemlich umfangreiches Konzept ist, das auf viele Dinge angewendet werden kann, und ich denke, dass diese Technologien genau deshalb so wichtig sind.“
Die Arbeit von MosaicML ist Teil einer breiten Bewegung, die darauf abzielt, sogenannte generative KI-Programme wie ChatGPT für praktische Geschäftszwecke relevanter zu machen.
Snorkel beispielsweise, ein drei Jahre altes KI-Startup mit Sitz in San Francisco, bietet Tools an, mit denen Unternehmen Funktionen schreiben können, die automatisch gekennzeichnete Trainingsdaten für sogenannte Foundation-Modelle erstellen - die größten neuronalen Netze, die es gibt, wie etwa GPT von OpenAI -4.
Und ein anderes Startup, OctoML, stellte letzte Woche einen Dienst vor, der die Arbeit bei der Bereitstellung von Inferenzen erleichtern soll.
Die Übernahme durch Databricks bringt MosaicML in einen dynamischen nicht-relationalen Datenbankmarkt, der seit mehreren Jahren das Paradigma eines Datenspeichers über Zeilen und Spalten hinaus verschiebt.
Dazu gehören der Data Lake von Hadoop, Techniken für den Betrieb darauf und das Kartierungs- und Reduktionsparadigma von Apache Spark, dessen führender Befürworter Databricks ist. Der Markt umfasst auch Streaming-Datentechnologien, bei denen die Datenspeicherung gewissermaßen im Datenfluss selbst erfolgen kann, was als „Data in Motion“ bekannt ist, wie beispielsweise die von Confluent geförderte Apache Kafka-Software.
MosaicML, das vor dem Deal 64 Millionen US-Dollar eingesammelt hatte, sprach Unternehmen mit Sprachmodellen an, die nicht so sehr die Generalisten der ChatGPT-Form waren, sondern sich mehr auf domänenspezifische Geschäftsanwendungsfälle konzentrierten, was Rao als „Building Experts“ bezeichnete.
Der vorherrschende Trend in der künstlichen Intelligenz, einschließlich der generativen KI, geht dahin, immer allgemeinere Programme zu entwickeln, die Aufgaben in allen möglichen Bereichen bewältigen können, vom Spielen von Videospielen über die Teilnahme am Chat bis hin zum Schreiben von Gedichten, dem Versehen von Bildern und dem Schreiben von Code und sogar einen Roboterarm steuern, der Blöcke stapelt.
Die Begeisterung für ChatGPT zeigt, wie überzeugend ein so umfassendes Programm sein kann, wenn es für die Bearbeitung einer beliebigen Anzahl von Anfragen eingesetzt werden kann.
Und doch wird der Einsatz von KI in freier Wildbahn, durch Einzelpersonen und Institutionen, wahrscheinlich von Ansätzen dominiert, die weitaus gezielter sind, weil sie weitaus effizienter sein können.
„Ich kann ein kleineres Modell für eine bestimmte Domäne erstellen, das ein größeres Modell deutlich übertrifft“, sagte Rao gegenüber ZDNET.
MosaikML hatte sich durch Leistungserfolge einen Namen gemacht, indem es seine Leistungsfähigkeit in den MLPerf-Benchmark-Tests unter Beweis stellte, die zeigen, wie schnell ein neuronales Netzwerk trainiert werden kann. Zu den Geheimnissen zur Beschleunigung der KI gehört die Beobachtung, dass kleinere neuronale Netze, die mit größerer Konzentration aufgebaut sind, effizienter sein können.
Diese Idee wurde in einem Aufsatz der MIT-Wissenschaftler Jonathan Frankle und Michael Carbin aus dem Jahr 2019 ausführlich untersucht, der in diesem Jahr auf der International Conference on Learning Representations einen Preis für den besten Beitrag gewann. In dem Artikel wurde die „Lotterie-Hypothese“ eingeführt, die Vorstellung, dass jedes große neuronale Netz „Teilnetze“ enthält, die genauso genau sein können wie das Gesamtnetz, aber mit weniger Rechenaufwand.
Frankle und Carbin waren Berater von MosaicML.
MosaikML greift auch explizit auf Techniken zurück, die von Googles DeepMind-Einheit erforscht wurden und zeigen, dass es ein optimales Gleichgewicht zwischen der Menge an Trainingsdaten und der Größe eines neuronalen Netzwerks gibt. Indem die Menge der Trainingsdaten um das Doppelte erhöht wird, ist es möglich, ein kleineres Netzwerk viel genauer zu machen als ein größeres Netzwerk desselben Typs.
All diese Effizienzgewinne fasst Rao in dem zusammen, was er eine Art Mooresches Gesetz zur Beschleunigung von Netzwerken nennt. Das Mooresche Gesetz ist die Halbleiter-Faustregel, die ungefähr besagt, dass sich die Anzahl der Transistoren in einem Chip bei gleichem Preis alle 18 Monate verdoppelt. Dies ist das Wirtschaftswunder, das die PC-Revolution ermöglichte, gefolgt von der Smartphone-Revolution.
In Raos Version können neuronale Netze mit jeder Generation viermal schneller werden, indem einfach die Tricks des Smart Computing mit dem Tool „MosaicML Composer“ angewendet werden.
Aus einem solchen Ansatz ergeben sich mehrere überraschende Erkenntnisse. Erstens: Im Gegensatz zu der oft wiederholten Aussage, dass maschinelle Lernformen der KI riesige Datenmengen erfordern, kann es sein, dass kleinere Datensätze gut funktionieren können, wenn sie im optimalen Gleichgewicht von Daten und Modell à la DeepMinds Arbeit angewendet werden. Mit anderen Worten: Wirklich große Datenmengen sind möglicherweise keine besseren Daten.
Im Gegensatz zu gigantischen generischen neuronalen Netzen wie GPT-3, das auf alles im Internet trainiert ist, können kleinere Netzwerke das einzigartige Wissen eines Unternehmens über seine Domäne speichern.
„Unsere Infrastruktur wird fast zum Back-End für den Aufbau dieser Art von Netzwerken auf der Grundlage der Daten von Menschen“, erklärte Rao. „Und es gibt einen ganzen Grund, warum Menschen ihre eigenen Modelle bauen müssen.“
„Wenn Sie die Bank of America oder die Geheimdienstgemeinschaft sind, können Sie GPT-3 nicht verwenden, weil es auf Reddit trainiert wurde und eine Menge Dinge trainiert hat, die möglicherweise sogar persönlich identifizierbare Informationen enthalten, und das könnte der Fall sein Dinge, deren Verwendung nicht ausdrücklich gestattet ist“, sagte Rao.
Aus diesem Grund war MosaicML Teil der Bemühungen, Open-Source-Modelle großer Sprachmodelle verfügbar zu machen, damit Kunden wissen, welche Art von Programm auf ihre Daten einwirkt. Diese Ansicht wird von anderen führenden Köpfen der generativen KI geteilt, wie zum Beispiel dem Gründer und CEO von Stability.ai, Emad Mostaque, der im Mai gegenüber ZDNET sagte: „Es gibt keine Möglichkeit, Black-Box-Modelle zu verwenden“ für die wertvollsten Daten der Welt, einschließlich Unternehmensdaten Daten.
Am vergangenen Donnerstag veröffentlichte MosaicML seine neueste Version eines Sprachmodells mit dem Namen MPT-30B - eines mit 30 Milliarden Parametern oder neuronalen Gewichten - als Open Source. Das Unternehmen behauptet, dass MPT-30B die Qualität von OpenAIs GPT-3 übertrifft. Seit der Einführung von Open-Source-Sprachmodellen durch das Unternehmen Anfang Mai habe es über zwei Millionen Downloads der Sprachmodelle gegeben, hieß es.
Obwohl sich die automatische Erkennung von Schemata für die Datenbankinnovation als fruchtbar erweisen kann, ist es wichtig zu bedenken, dass es bei großen Sprachmodellen immer noch zu Problemen wie Halluzinationen kommt, bei denen das Programm falsche Antworten liefert und gleichzeitig darauf besteht, dass sie real sind.
„Die Leute verstehen es eigentlich nicht, wenn man ChatGPT etwas fragt, ist es oft nicht richtig und manchmal klingt es so richtig, wie ein wirklich guter Bullsh*t-Künstler“, sagte Rao.
„Datenbanken erwarten absolute Korrektheit und Vorhersagbarkeit“, basierend auf „vielen Dingen, die in den letzten 30, 40 Jahren im Datenbankbereich entwickelt wurden und für irgendeine Art wahr oder zumindest größtenteils wahr sein müssen.“ eine neue Art und Weise, es zu tun", bemerkte Rao.
„Die Leute betrachten es [große Sprachmodelle], als ob es alle Probleme lösen könnte, die sie hatten“, sagte Rao über das Interesse an Unternehmen. „Lassen Sie uns herausfinden, wie wir tatsächlich dorthin gelangen.“