Das KI-Tool für die Bildbearbeitung des MIT ersetzt problemlos den Hintergrund in jedem Bild
Dieses KI-gestützte Bildbearbeitungstool vom MIT kann den Hintergrund in jedem Bild ändern
Lange Zeit war Photoshop das Programm, das viele von uns verwenden, um unsere Fotos mit schnellen Korrekturen und kreativen Verbesserungen großartig aussehen zu lassen.
Jetzt haben Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT ein KI-gestütztes Bildbearbeitungstool entwickelt, das viele Teile des Bearbeitungsprozesses für Fotos automatisiert. Dies erleichtert die Bearbeitung von Fotos.
"Anstatt dass ein erfahrener Redakteur mehrere Minuten damit verbringen muss, ein Bild Bild Bild für Bild und Pixel für Pixel zu optimieren, möchten wir den Prozess einfacher und schneller gestalten, damit die Bildbearbeitung für Gelegenheitsnutzer zugänglicher wird", sagt Yagiz Aksoy, Gastforscher am CSAIL des MIT.
"Die Vision ist es, an einen Punkt zu gelangen, an dem Redakteure mit nur einem einzigen Klick Bilder kombinieren können, um diese ausgewachsenen, realistischen Fantasiewelten zu schaffen. ”
Diese Methode, die als "Semantic Soft Segmentation" (SSS) bezeichnet wird, nutzt KI (künstliche Intelligenz), um Objekte in einem Bild automatisch zu trennen, was eine einfache Bildbearbeitung ermöglicht. Mit dieser Technik können Sie beispielsweise das Aussehen des Hintergrunds ändern oder Vorder- und Hintergrundbilder zu einer völlig neuen Szene zusammenführen.
Wie funktioniert SSS?
Das Tool untersucht die Textur und Farbe des Originalbildes und kombiniert sie mit Informationen, die von einem neuronalen Netzwerk über die tatsächlichen Objekte im Bild gesammelt werden. Das neuronale Netz verarbeitet die Bildmerkmale und erkennt "weiche Übergänge" wie Haare und Gras.
"Sobald diese weichen Segmente berechnet sind, muss der Benutzer die Übergänge nicht manuell ändern oder individuelle Änderungen am Erscheinungsbild einer bestimmten Bildebene vornehmen", sagt Aksoy. "Manuelle Bearbeitungsaufgaben wie das Ersetzen von Hintergründen und das Anpassen von Farben würden viel einfacher gemacht. ”
Die Pixel im Bild werden dann durch die Farbe miteinander verknüpft. Diese Informationen werden mit den vom neuronalen Netz erkannten Merkmalen kombiniert, um Bildschichten zu schätzen. Diese Aufgabe ist jedoch nicht einfach, da Computern beigebracht werden muss, wie man dies tut.
"Das Knifflige an diesen Bildern ist, dass nicht jedes Pixel nur zu einem Objekt gehört", fügte Aksoy hinzu, der die Arbeit in der vergangenen Woche auf der jährlichen SIGGRAPH-Computergrafikkonferenz in Vancouver vorstellte. "In vielen Fällen kann es schwierig sein, zu bestimmen, welche Pixel Teil des Hintergrunds und welche Teil einer bestimmten Person sind. ”
Wo kann SSS eingesetzt werden?
Laut Aksoy könnte SSS in seiner aktuellen Version von sozialen Plattformen wie Instagram und Snapchat verwendet werden, um ihre Filter realistischer zu gestalten, hauptsächlich zum Ändern der Hintergründe auf Selfies oder zum Simulieren bestimmter Arten von Kameras.
Pläne für die Zukunft
In Zukunft planen die Forscher, die Zeit, die für die Berechnung eines Bildes benötigt wird, von Minuten auf Sekunden zu verkürzen und Bilder noch realistischer zu machen, indem sie die Fähigkeit des Systems verbessern, Farben abzugleichen und Dinge wie Beleuchtung und Schatten zu handhaben.
Quelle: CSAIL