Das KI-Startup Snorkel bereitet eine neue Art von Experten für Unternehmens-KI vor
Das Model Development Toolkit ermöglicht es einem menschlichen Fachexperten, großen neuronalen Netzen die Regeln für die Beschriftung von Daten vorzugeben, was letztendlich zu effizienteren KI-Programmen führt, die den "Long Tail" von Fällen kennen.
Die datenzentrierte Foundation Model Development Suite von Snorkel ermöglicht es einem Nicht-Programmierer, eine Texteingabeaufforderung mit Abfragen in natürlicher Sprache zu verwenden, um ein neuronales Netz dazu zu bringen, Daten automatisch zu kennzeichnen. Die Ausgabebeschriftungen werden zu einem Mittel, um das Training eines nachgelagerten Machine Learning-Programms zu überwachen, bei dem es sich um einen einfachen Klassifizierer handeln kann.
Beim letzten großen Aufschwung der künstlichen Intelligenz, in den späten 70er und 80er Jahren, setzte sich ein populärer Ansatz durch, der als Expertensysteme bekannt ist, Programme, die Regeln für Aufgaben enthielten, die auf menschlichem Wissen basierten, das in den Computer eingegeben wurde.
Expertensysteme scheiterten letztendlich, weil sie sich als zu schwer zu kodifizieren erwiesen -- was kann ein Experte wirklich über das, was er weiß, aussprechen? -- und auch zu mühsam zu bauen und zu pflegen. Mit anderen Worten, sie skalierten nicht.
In einer faszinierenden Abwandlung dieses früheren Ansatzes stellte Snorkel, ein drei Jahre altes KI-Startup mit Sitz in San Francisco, am Mittwoch Tools vor, die, wie sie es ausdrücken, den Experten für menschliche Bereiche wieder auf den Fahrersitz bringen, wenn es um die Entwicklung neuronaler Netze geht.
Die datenzentrierte Entwicklung des Grundlagenmodells von Snorkel, wie das Angebot genannt wird, ist eine Erweiterung des Flaggschiff-Programms Snorkel Flow des Startups. Die neuen Funktionen ermöglichen es Unternehmen, Funktionen zu schreiben, die automatisch gekennzeichnete Trainingsdaten erstellen, indem sie sogenannte Foundation-Modelle verwenden, die größten neuronalen Netze, die es gibt, wie z. B. GPT-3 von OpenAI.
Die neuen Funktionen in Snorkel Flow ermöglichen es einer Person, die ein Domänenexperte, aber kein Programmierer ist, einen Workflow zu erstellen, der dann automatisch beschriftete Datensätze generiert, die zum Trainieren der Grundlagenprogramme für bestimmte Aufgaben verwendet werden können.
"Wir freuen uns darauf, den Nicht-Entwickler, den Fachexperten, weiterzubilden und zu befähigen, mehr vom Prozess der KI-Entwicklung voranzutreiben", sagte Alex Ratner, Mitbegründer und CEO von Snorkel, in einem Interview über Zoom gegenüber ZDNET.
"Das sind die Leute, die über das Domänenwissen verfügen, und sie werden oft in ein Silo gesteckt, in dem es darum geht, Daten nur von Hand zu beschriften", sagte Ratner. "Wir möchten, dass sie dort sitzen, wo sie sollten, wo sie unserer Meinung nach sitzen müssen, auf dem Fahrersitz, Co-Pilot mit dem Data Scientist oder selbstständig führen."
Foundation-Modelle wie GPT-3, aber auch Dall•E 2 von OpenAI und RoBERTa von Google liegen zunehmend im Trend, da sie in der Lage sind, Texte und Bilder zu generieren, die dann auf eine Vielzahl von Unternehmensaufgaben angewendet werden können, von automatisierten Kundenservice-Bots über die Erstellung von Unternehmensdokumentationen bis hin zur Erstellung von Stockfotografien.
Die Grundlagenmodelle sind Datenfresser. GPT-3 wurde von Open-AI im Jahr 2020 mit dem beliebten CommonCrawl-Datensatz von Webseiten von 2016 bis 2019 trainiert, der komprimierte Textdaten im Wert von 45 TB umfasst. OpenAI musste das auf überschaubare 570 GB an Daten reduzieren. Das Trainieren solcher Modelle ist für die meisten Unternehmen unerschwinglich.
Auf einige der Basismodelle, wie z. B. GPT-3, kann als Cloud-Dienst zugegriffen werden, was Unternehmen, die sie nutzen möchten, einen Teil der Belastung verringert. Ein Unternehmen kann die Modelle einfach mieten und einige Anpassungen vornehmen, um sie an seinen Anwendungsfall anzupassen.
Um ein Foundation-Modell produktiv nutzen zu können, muss ein Unternehmen die Funktionsweise des Modells jedoch immer noch an die spezifischen Anwendungsfälle anpassen, wie z. B. Recht oder Marketing, was als "Feinabstimmung" eines Modells bezeichnet wird. Und die Erfassung des erforderlichen Domänenwissens kann Dutzende von Gigabyte an neuen Daten erfordern, mit entsprechenden Labels, d. h. Hinweisen für das Programm.
"Es gibt immer diese Art von Ernüchterung" mit Deep-Learning-KI in Unternehmen, sagte Ratner, "und das Gefühl, dass wir so viel auf die KI gelegt haben, es gibt so viel da draußen in der Open-Source-Welt, es gibt so viel in unserer Unternehmensorganisation, Warum kommen wir nicht schneller voran?"
Der Grund, warum Unternehmen nicht schneller vorankommen, habe oft mit diesem Datenberg zu tun, sagte er.
"Es war schon immer die Frage: Was ist mit den Daten?", sagte Ratner. Und insbesondere die gekennzeichneten Trainingsdaten, auf die sich diese Modelle stützen und auf die sie sich auch in der Ära der Basismodelle noch verlassen, um für bestimmte Anwendungsfälle angepasst und fein abgestimmt zu werden, insbesondere für komplexe Hochleistungsfälle im Unternehmen, die wir bei unseren Kunden sehen."
Die Snorkel Flow-Software von Snorkel ist ein kommerzielles Projekt, das aus der akademischen Open-Source-Forschung am AI Lab der Stanford University hervorgegangen ist, die 2015 von Ratner und anderen Forschern durchgeführt wurde. Diese Arbeit führte zu einem gemeinsam mit Google-Forschern entwickelten Programm, Snorkel Drybell, das laut Ratner einen "massiven Einfluss" auf Google hatte.
Das Drybell-Programm bot eine Möglichkeit, Regeln zu erstellen, die dann automatisch Labels für Daten generierten, wodurch eine Person einen enormen manuellen Aufwand für die Beschriftung jedes einzelnen Datenelements ersparte.
Auf dem Weg dorthin stellte Ratner fest, dass es wirklich schwierig war, eine Regel-Engine zu implementieren.
"Es dauerte sechs bis neun Monate, um den Workflow zu umrunden und bereitzustellen", erinnerte sich Ratner an das Drybell-Programm. "Das war ein Aha-Moment", sagte er.
Drybell sei "eines von mehreren Beispielen, die gezeigt haben, was das Potenzial für Auswirkungen in der realen Welt ist, aber auch, wie viel Entwicklungs- und Priorisierungsarbeit erforderlich war, um diese Lücke zu schließen, was eine große Motivation war, das Unternehmen 2019 endlich auszugliedern."
Möglicherweise muss es ein kommerzielles Paket geben, um Unternehmen bei der Nutzung des Ansatzes zu unterstützen.
Ratner, sein Doktorvater Christopher Re und drei weitere Kollegen gründeten das Unternehmen im Jahr 2019 mit Risikokapital von prominenten Risikokapitalfirmen wie Greylock Partners und In-Q-Tel.
Re ist auch zusammen mit einem weiteren Berater von Ratner, dem Stanford-Informatikprofessor Kunle Olukotun, der Gründer des KI-Hardware-Startups SambaNov Systems.
Mit der neuen Funktion zur Modellentwicklung stellt Snorkel das Problem der sehr datenhungrigen Programme auf den Kopf. Anstatt Trainingsdaten für so umfangreiche Programme wie GPT-3 zu erstellen, kann die generative Funktion dieser Modelle verwendet werden, um Trainingsdaten für ein kleineres neuronales Netzwerk oder sogar für Formen von KI zu erzeugen, die nichts mit neuronalen Netzen zu tun haben.
"Wir begannen zu experimentieren", so Ratner, "mit der Idee, nicht zu versuchen, ein Basismodell zu finden und es in die Produktion einzubinden, sondern das Grundlagenmodell zu verwenden, um Daten automatisch zu kennzeichnen, um die datenzentrierte Entwicklungsschleife zu beschleunigen, und dann nach einem anderen einsatzfähigen Modell zu suchen."
Die Model Development Suite besteht aus drei Komponenten, die unabhängig voneinander oder in Kombination verwendet werden können. Eine besteht darin, die Texteingabeaufforderung mit Abfragen in natürlicher Sprache zu verwenden, die ein Grundlagenmodell auffordern, Datenbeschriftungen als Ausgabe zu generieren.
"Wie verbindet man das Expertenwissen über Systeme, das man durch eine Regel oder eine Heuristik oder jetzt eine Frage in einer Eingabeaufforderung ausdrücken kann, mit den massiven Verallgemeinerungsfähigkeiten dieser statistischen Modelle?", so denkt Snorkel darüber, wie Menschen wieder als Fachexperten in den Kreis einbezogen werden können, erklärt der Mitbegründer und CEO von Snorkel. Alex Ratner.
Diese Abfragen in natürlicher Sprache können etwas sein, das ein Domänenexperte zu formulieren weiß, wie z. B. "Beziehen sich diese Vertragsdokumente auf Markenfragen?" Diese Abfrage wird dann zu einer Möglichkeit, das Programm dazu zu bringen, Labels anzubringen, ob ein Dokument ein markenbezogenes Dokument ist oder nicht. Die Gesamtausgabe wird dann zu Bezeichnungen, um einen Klassifizierer zu trainieren, um Dokumente als markenbezogen oder nicht markenbezogen zu sortieren.
Die zweite Option mit den Modellentwicklungswerkzeugen wird als "Warmstart" bezeichnet. Die Fähigkeit eines Basismodells, automatisch eine Ausgabe zu generieren, wenn null oder wenige Beispiele angezeigt werden - Zero-Shot- und Few-Shot-Lernen - wird zu einem Mechanismus zum automatischen Generieren von Datenbeschriftungen.
Und die dritte Option, die Fundamentmodelle selbst, kann verwendet werden, indem ein kleinerer Datensatz angewendet wird, der das große Fundamentmodell einfach "feinabstimmt".
Die Idee hinter allen drei Ansätzen ist, dass Stiftungsmodelle selbst "Fundamente sind, auf denen man aufbauen kann, aber sie lösen nicht auf magische Weise alle Probleme der realen Welt".
"Man muss immer noch darauf aufbauen. Man muss sie fein abstimmen und herausfinden, wie man sie einsetzt", sagte Ratner.
"Wir betten Fundamentmodelle auf verschiedene Weise in diesen Workflow ein, um ihn zu beschleunigen und im Grunde die Lücke zu schließen."
Einige Kunden arbeiten bereits seit Monaten mit der Modellentwicklungsfunktion und haben festgestellt, dass ihr Zeitaufwand für die Erstellung von Programmen für maschinelles Lernen drastisch reduziert wurde.
Ratner erinnerte an das Beispiel eines Kunden, der zu den fünf größten Banken gehörte und ein KI-Programm trainieren wollte, um Dinge aus Bankdokumenten zu extrahieren, die sich auf Bedenken zur Bekämpfung von Geldwäsche und Know Your Customer beziehen.
Diese Aufgabe umfasste das Scannen von PDFs, mehrhundertseitigen Dokumenten, "sehr komplex, sehr maßgeschneidert", sagte Ratner, und auch "aus regulatorischen Gründen sehr wichtig für die Bank, um diese Extraktionen korrekt zu machen".
"Wenn Sie versucht hätten, ein beschriftetes Trainingsset von Hand zu konstruieren, um ML für diese Extraktionen zu trainieren, wäre es Monate an juristischer Expertenzeit gewesen" von einem Spezialisten für menschliche Domänenbereiche. Die Snorkel Flow-Software war in der Lage, dies auf nur wenige Wochen zu reduzieren, sagte Ratner.
"Das wirklich aufregende Ergebnis dieser Funktion des Grundlagenmodells besteht darin, dies auf Stunden oder Tage zu reduzieren, indem Grundlagenmodelle verwendet werden, um die Daten zu erwärmen und dann automatisch zu beschriften."
Bei Snorkel Flow geht es darum, alle Arten von Datenquellen automatisch in einen Zyklus der Aktualisierung von Labels zu bringen, um die beschrifteten Daten, die zum Ausprobieren von KI-Modellen zur Verfügung stehen, ständig zu verbessern.
Die Modellentwicklungsfunktion weist auf eine grundlegende Wahrheit über Deep Learning hin, sagte Ratner: Es geht jetzt mehr um die Daten als um die spezielle Architektur des neuronalen Netzwerks, zumindest gemessen daran, wo der größte Arbeitsaufwand aufgewendet wird.
"KI wird immer daten- und nicht modellzentrierter, wenn es darum geht, was die durchschnittliche Iteration ist, die ein Datenwissenschaftler durchführt, um etwas zum Laufen zu bringen", fügte er hinzu. "Data Scientists verbringen einen Großteil ihrer Arbeit damit, diese Daten zu verbessern und zu iterieren", anstatt Modelle zu überarbeiten.
Kunden von Snorkel mussten zuvor sechs Monate oder länger damit verbringen, Daten von Hand zu beschriften, bevor sie ein einzelnes Programm ausführen konnten, merkt Ratner an.
Für die Verwendung der Model Development Suite sind keine Kenntnisse über Foundation-Modelle durch die Person erforderlich, die die Beschriftungsaufgabe ausführt. Wenn man sich jedoch für die Details der Foundation-Modelle interessiert, "haben wir einige der Goodies unter der Haube", bemerkte er, wie z. B. die Möglichkeit, benutzerdefinierte Eingabeaufforderungen oder Eingabeaufforderungsvorlagen für die Stiftungsmodelle zu schreiben.
Durch die Umkehrung des Paradigmas können Stiftungsmodelle eine effizientere Hilfe für kleinere, weniger anspruchsvolle Modelle sein, die letztendlich eine bessere Leistung erbringen.
Durch die Nutzung der allgemeinen Fähigkeiten von Foundation-Modellen ist es möglich, "das Training dieser speziellen Bereitstellungsmodelle zu beschleunigen, die in Ihre bestehende und betriebliche Infrastruktur integriert sind", so Ratner. "Sie können tatsächlich Modelle erhalten, die 10.000-mal so klein sind wie ein großes Grundlagenmodell, aber bei der Zielaufgabe genauer sind."
Das endgültige Programm könnte ein einfaches Regressionsmodell oder XG Boost oder eine andere Art von Ansatz sein, sagte Ratner. Solche Modelle haben den zusätzlichen Vorteil, dass sie nicht nur einfacher in der Produktion auszuführen sind und genauer sein können als generische vortrainierte Programme wie GPT-3, sondern sie sind oft auch viel besser interpretierbar und handhabbar als die sprichwörtliche Blackbox großer neuronaler Netze.
"Diese Art von Anwendungsfällen ist oft mit einer strengeren Governance verbunden", sagt Ratner über Unternehmensanwendungen wie Know Your Customer.
Ratner ist der Ansicht, dass die Modellentwicklungsfunktion in gewisser Weise den alten Ansatz des Expertensystems einlöst, bei dem der menschliche Fachexperte wieder in den Mittelpunkt gerückt wird.
"Wie verbindet man das Expertenwissen von Systemen, das man durch eine Regel oder eine Heuristik oder jetzt eine Frage in einer Eingabeaufforderung ausdrücken kann, mit den massiven Verallgemeinerungsfähigkeiten dieser statistischen Modelle?" Das ist eine Möglichkeit, darüber nachzudenken.
"Bitten Sie Ihren Fachexperten nicht, einfach auf 10.000 Verträge zu klicken, als würden Sie 20.000 Fragen spielen", schlug er vor. "Lassen Sie sie ihr Domänenwissen aufschreiben - auch hier haben wir das früher eine Beschriftungsfunktion genannt, jetzt bieten wir es in Form einer Eingabeaufforderung an, was eine andere Art von Beschriftungsfunktion ist."
Diese menschliche Anstrengung wird genutzt, "um ein Modell zu bootstrappen und zu trainieren, das auf den Long Tail von Mustern verallgemeinert werden kann, die moderne menschliche Modelle so gut aufsaugen und erkennen können".