Nvidia sagt, es könne verhindern, dass Chatbots halluzinieren
KI-Chatbots machen oft wegen ihres seltsamen Verhaltens Schlagzeilen. Nvidias neue Software könnte das beheben.
Nvidia, der Technologieriese, der für die Erfindung der ersten GPU verantwortlich ist - ein heute entscheidendes Stück Technologie für generative KI-Modelle - hat am Dienstag eine neue Software vorgestellt, die das Potenzial hat, ein großes Problem mit KI-Chatbots zu lösen.
Die Software NeMo Guardrails soll laut Nvidia dafür sorgen, dass intelligente Anwendungen wie KI-Chatbots, die auf großen Sprachmodellen (LLMs) basieren, „genau, angemessen, themenbezogen und sicher“ sind.
Außerdem: Die 5 größten Risiken generativer KI, laut einem Experten
Die Open-Source-Software kann von KI-Entwicklern verwendet werden, um drei Arten von Grenzen für KI-Modelle einzurichten: Themen-, Sicherheits- und Sicherheitsleitplanken.
Die thematischen Leitplanken würden verhindern, dass die KI-Anwendung Themen in Bereichen untersucht, die für die beabsichtigte Verwendung nicht notwendig oder wünschenswert sind. Nvidia nennt als Beispiel einen Kundendienstmitarbeiter, der Fragen zum Wetter nicht beantwortet.
Diese Art von Leitplanke wäre für Bing Chat nützlich gewesen, als es erstmals veröffentlicht wurde und begann, Unternehmensgeheimnisse preiszugeben.
Die Sicherheitsleitplanken sind ein Versuch, das Problem von Fehlinformationen und Halluzinationen anzugehen.
Wenn es eingesetzt wird, stellt es sicher, dass KI-Anwendungen mit genauen und angemessenen Informationen reagieren. Durch den Einsatz der Software können beispielsweise Verbote unangemessener Sprache und glaubwürdiger Quellenangaben verstärkt werden.
Die Sicherheitsmaßnahmen würden Apps lediglich daran hindern, externe Anwendungen zu erreichen, die als unsicher gelten.
Außerdem: Generative KI kann laut dieser Studie manche Arbeitnehmer viel produktiver machen
Nvidia behauptet, dass praktisch alle Softwareentwickler NeMo Guardrails verwenden können, da sie einfach zu verwenden sind, mit einer breiten Palette von LLM-fähigen Anwendungen arbeiten und mit allen Tools arbeiten, die Entwickler von Unternehmensanwendungen verwenden, wie z. B. LangChain.
Das Unternehmen wird NeMo Guardrails in sein Nvidia NeMo-Framework integrieren, das bereits größtenteils als Open-Source-Code auf GitHub verfügbar ist.
Es wird auch als Teil der Nvidia AI Enterprise-Softwareplattform und als Service über Nvidia AI Foundations angeboten.