6 umwerfende Einsatzmöglichkeiten der Bilderkennungsfunktion von ChatGPT

Ein Bild sagt mehr als 1000 Worte.

Wichtige Erkenntnisse

Benutzer von ChatGPT Plus haben jetzt die Möglichkeit, Bilder hochzuladen, damit der KI-Chatbot sie analysieren kann. Bei all der Flexibilität, die ChatGPT bereits hatte, bietet die Möglichkeit, die Welt zu sehen, eine Vielzahl von Möglichkeiten, angefangen bei diesen.

Identifizieren von Pflanzen- und Tierleben (und den meisten anderen Dingen)

Wenn Sie wie ich gerne Fotos von Pflanzen und Tieren machen, kann ChatGPT Ihnen jetzt zumindest bis zu einem gewissen Grad dabei helfen, sie zu identifizieren. Ich habe seine Fähigkeit anhand von Fotos getestet, die ich von Spinnen gemacht habe, und im Allgemeinen war es in der Lage, den breiten Spinnentyp richtig zu erkennen, wenn nicht sogar die spezifische Art.

Das Schöne an ChatGPT ist in diesem Fall, dass Sie beispielsweise mit Google Lens nicht auf mehrere Fotos zugreifen können. Bei einigen meiner Tests stellte ich im Verlauf des Gesprächs weitere Fotos derselben Spinne zur Verfügung, und ChatGPT schien diese zusätzlichen Informationen zu nutzen, um der richtigen Antwort näher zu kommen.

Komplexe Diagramme verstehen

Wenn Sie ein Flussdiagramm oder einen zu dichten und komplizierten Satz PowerPoint-Folien erhalten haben, können Sie jetzt ChatGPT verwenden, um daraus einen Sinn zu machen. Lassen Sie sich den Inhalt des Bildes erklären und Ihre spezifischen Fragen beantworten.

Hier habe ich ein wunderbares Flussdiagramm der University of Alberta übernommen, das beschreibt, ob etwas nach kanadischem Recht gemeinfrei ist. Dann bitte ich ChatGPT, das Flussdiagramm zu verwenden, um festzustellen, ob Alice im Wunderland qualifiziert ist.

Dies ist ein guter Zeitpunkt, um alle daran zu erinnern, dass ChatGPT immer noch dazu neigt, Fehler zu machen oder einfach Dinge zu erfinden. Überprüfen Sie also noch einmal die Antworten, die Sie erhalten, oder führen Sie zumindest die gleiche Analyse mehr als einmal in separaten Chat-Threads durch, um zu sehen, ob Sie konsistente Ergebnisse erhalten.

Informationen sortieren

Hier sind zwei coole Dinge, die ich mit ChatGPT gemacht habe und die vielfältige Anwendungsmöglichkeiten haben. Zuerst habe ich ein Foto von meinem Bücherregal gemacht und es gebeten, alle Bücher in alphabetischer Reihenfolge aufzulisten. Es hat großartige Arbeit geleistet, wobei die größte Einschränkung die Lesbarkeit des Texts auf dem Foto ist, die von Ihnen als Fotograf abhängt und davon, wie gut Ihre Kamera ist.

Als nächstes machte ich ein Foto von unserem DVD-/Blu-Ray-Regal und bat ChatGPT, alle Titel alphabetisch aufzulisten. Dies geschah mit absoluter Genauigkeit, was vermutlich darauf zurückzuführen ist, dass das Foto wesentlich besser lesbar war.

Sie können sich wahrscheinlich bereits eine Reihe von Verwendungsmöglichkeiten dafür vorstellen, aber was mir sofort in den Sinn kam, war, Dinge in meiner physischen Sammlung zu finden. Ich habe zum Beispiel ChatGPT gefragt, wo sich mein Exemplar von „Dune“ auf dem Bild befindet, und es hat gute Arbeit geleistet, abgesehen davon, dass die Oberseite des Bücherregals fälschlicherweise für eines der Regale gehalten wurde.

Verschiedene Barrierefreiheitsoptionen

In Kombination mit den neuen Voice-Chat-Funktionen von ChatGPT in der mobilen App haben die Bildeingabefunktionen von ChatGPT Plus es zu einem leistungsstarken Barrierefreiheitstool gemacht. Da Sie Fotos aufnehmen und diese direkt an ChatGPT senden und dann den Chat-Modus verwenden können (indem Sie auf das Kopfhörersymbol tippen, um ein Gespräch über das Bild zu führen. Wenn Sie also Sehprobleme haben, die Sie daran hindern, komplizierte Szenen zu analysieren, aber dennoch Rahmen erstellen können Ein Foto, das könnte das Spiel verändern.

Wenn Sie Bilder auf Ihrer Website verwenden oder Bilder auf Social-Media-Plattformen veröffentlichen, können Sie diese neue Funktion von ChatGPT auch verwenden, um reichhaltigen und beschreibenden ALT-Text zu schreiben. Hierbei handelt es sich um Text, den Screenreader für sehbehinderte Benutzer zur Beschreibung von Bildern verwenden können. Meistens werden diese manuell geschrieben. Beispielsweise können Sie sowohl bei Facebook als auch bei X (ehemals Twitter) ALT-Text zu den von Ihnen geposteten Bildern hinzufügen. Wenn Ihnen Barrierefreiheit oder sehbehinderte Zielgruppen am Herzen liegen, können Sie diese Funktion von ChatGPT jetzt nutzen, um schnell eine umfangreiche ALT-Textbeschreibung zu verfassen und diese dann einfach auf Richtigkeit zu überprüfen.

Erstellen von AI-Bildaufforderungen aus Bildern

Eingabeaufforderungen für KI-Bilderzeugungstools wie MidJourney von DALL-E zu entwickeln, ist schwieriger als es klingt. Die Dinge werden immer besser, zum Beispiel bietet DALL-E 3 ein viel besseres Verständnis für Eingabeaufforderungen in natürlicher Sprache, wodurch genau das erreicht wird, was Sie verlangen, aber selbst dann ist nicht jeder so detailorientiert. Eine coole Sache, die Sie mit der Bildeingabefunktion von ChatGPT machen können, besteht darin, eine Eingabeaufforderung basierend auf einem von Ihnen bereitgestellten Bild anzufordern. Wenn Ihnen also ein KI-generiertes Bild gefällt, oder eigentlich irgendein Bild, können Sie es bitten, eine Eingabeaufforderung zu schreiben, die den Inhalt des Bildes widerspiegelt, und diese als Ausgangspunkt statt einer leeren Seite zu verwenden.

Schreiben basierend auf KI-Bildern

Wir können die Dinge umdrehen und statt nach einer Aufforderung zum Generieren von Bildern zu fragen, ChatGPT bitten, Bilder, die wir mithilfe von KI generiert haben, als Inspiration für kreatives Schreiben zu verwenden. In diesem Fall habe ich Fantasy-Kunst erstellt und dann ChatGPT gebeten, eine passende Story-Idee zu entwickeln. Sie könnten dies als Sprungbrett für Ihre eigene Kreativität nutzen.

Die Spitze des Eisbergs

Dies sind nur einige der am wenigsten hängenden Früchte, wenn es um visuelle Eingaben in ChatGPT geht. Ich gehe davon aus, dass kreative Nutzer in den kommenden Tagen und Wochen noch mehr Möglichkeiten finden werden, wie sie das Leben einfacher machen oder es den Menschen ermöglichen, mehr zu erledigen. Natürlich erwarten wir auch, dass einige neue schändliche Verwendungen dazu gehören werden, aber das wird nur die Zeit zeigen. Geeks haben vorerst ein heißes neues Spielzeug zum Spielen.