OpenAI stellt Entwicklern GPT-4 Turbo mit Vision zur Verfügung, um neue KI-Apps freizuschalten
Ein multimodales Modell wie GPT-4 kann KI-Chatbots und andere KI-Anwendungen zu neuen Höhen führen, indem es beispielsweise Text und Bilder kombiniert.
OpenAI ist vor allem für seine fortschrittlichen Large Language Models (LLMs) bekannt, die einige der beliebtesten KI-Chatbots wie ChatGPT und Copilot unterstützen. Multimodale Modelle können die Chatbot-Funktionen auf ein neues Niveau heben, indem sie eine neue Reihe visueller Anwendungen freisetzen, und OpenAI hat gerade eine für Entwickler verfügbar gemacht.
Am Dienstag gab OpenAI über einen X-Beitrag (ehemals Twitter) bekannt, dass GPT-4 Turbo with Vision, das neueste GPT-4 Turbo-Modell mit Vision-Funktionen, jetzt allgemein für Entwickler über die OpenAI-API verfügbar ist.
Dieses neueste Modell behält das 128.000-Token-Fenster und den Wissensgrenzwert von GPT-4 Turbo ab Dezember 2023 bei. Der Hauptunterschied besteht in seinen Sehfähigkeiten, die es ihm ermöglichen, Bilder und visuelle Inhalte zu verstehen.
Bevor GPT-4 Turbo mit Vision verfügbar wurde, mussten Entwickler auf separate Modelle für Text und Bilder zurückgreifen. Jetzt können Entwickler einfach auf ein Modell zurückgreifen, das beides kann, den Prozess vereinfacht und die Türen für eine Vielzahl von Anwendungsfällen öffnet.
OpenAI teilte einige Möglichkeiten mit, wie Entwickler das Modell bereits verwenden, und sie sind ziemlich faszinierend.
Devin, ein KI-Software-Engineering-Assistent, nutzt beispielsweise GPT-4 Turbo mit Vision, um die Codierung besser zu unterstützen. Die Gesundheits- und Fitness-App Healthify verwendet GPT-4 Turbo mit Vision, um Fotos von den Mahlzeiten der Benutzer zu scannen und durch Fotoerkennung Einblicke in die Ernährung zu geben. Schließlich verwendet Make Real GPT-4 Turbo mit Vision, um die Zeichnung eines Benutzers in eine funktionierende Website umzuwandeln.
Mit Make Real, erstellt von @tldraw, können Benutzer Benutzeroberflächen auf einem Whiteboard zeichnen und verwenden GPT-4 Turbo mit Vision, um eine funktionierende Website zu erstellen, die auf echtem Code basiert. pic.twitter.com/RYlbmfeNRZ
Während das GPT-4 Turbo with Vision-Modell noch nicht in ChatGPT oder für die breite Öffentlichkeit verfügbar ist, kündigte OpenAI an, dass es bald in ChatGPT verfügbar sein wird. Wenn Sie ein Entwickler sind, der mit OpenAIs GPT-4 Turbo mit Vision API beginnen möchte, können Sie hier erfahren, wie Sie damit beginnen können.