Die besten Samsung-Handys zum Kauf im Jahr 2024
Samsung hat etwa 60 KI-Modelle für die Funktionen der Kameras des Galaxy S22 Ultra eingesetzt, was es laut einem leitenden Angestellten des Unternehmens ermöglicht, detaillierte Fotos von Nahaufnahmen und Nachtszenen aufzunehmen und sogar die Qualität einer DSLR-Kamera zu erreichen.
Samsung hat etwa 60 neue KI-Modelle eingesetzt, die von der Neural Processing Unit (NPU) ausgeführt werden, um die Funktionen der Smartphone-Kamera des Galaxy S22 Ultra zu optimieren, sagte ein leitender Angestellter des Unternehmens.
Dies hat es dem südkoreanischen Technologieriesen ermöglicht, Kameraerlebnisse anzubieten, die Gelegenheitsnutzer mit den bestmöglichen Fotos und professionelle Benutzer mit RAW-Dateien zufrieden stellen, die denen von DSLR-Kameras entsprechen, sagte Joshua Sungdae Cho, Vice President und Head of Visual Software R&D bei Samsungs MX Business, in einem Interview mit ZDNet.
"Wir haben vor drei Jahren zum ersten Mal NPUs auf unsere Smartphones angewendet", sagte Cho. "Zu dieser Zeit liefen auf dieser NPU etwa 10 KI-Modelle. Auf dem Galaxy S22 Ultra gibt es nun 60 KI-Modelle. Grundsätzlich ist die NPU an fast allen Funktionen der Kameras beteiligt."
KI-Modelle sind Entscheidungsalgorithmen, die durch einen Datensatz trainiert werden, um sie auf bestimmte Aufgaben anzuwenden, während NPUs Chips sind, die speziell für die Verarbeitung solcher Algorithmen entwickelt wurden.
Ein bestimmtes KI-Modell, das Samsung für das Galaxy S22 Ultra verwendet hat, ist für den Porträtmodus, bei dem das Erkennen der Tiefe zwischen der Person und dem Hintergrund zur Trennung - auch bekannt als Segmentierung - entscheidend ist.
"Es ist schwierig, die Tiefe allein mit den Kameras zu beurteilen. Einige Kameras verwenden Tiefensensoren, aber stattdessen ließen wir die KI-Modelle eine enorme Menge an tiefenbezogenen Bildern mit verschiedenen Hintergründen und Objekten untersuchen", sagte Cho.
"Da wir eine Vielzahl von Kameras auf dem S22 haben, lassen wir das KI-Modell auch mit zwei Kameras trainieren und es untersucht Bilder mit Kabeln, Tassen und Gläsern unter einer Vielzahl von Bedingungen", sagte der Vizepräsident.
Zoom und Nachtfotografie
Die Kameras des Galaxy S22 Ultra unterstützen einen 10-fachen optischen Zoom und einen 100-fachen Digitalzoom. Es ist nicht das erste Modell, das dies tut, da Samsung vor zwei Jahren mit dem Galaxy S20 Ultra zum ersten Mal einen 100-fachen Digitalzoom eingeführt hat, wenn auch damals auf gemischte Aufnahmen.
Aber mit der Entwicklung der neuen KI-Modelle, gepaart mit der Rechenleistung, die der 4-nm-Mobilprozessor des neuesten Galaxy S22 Ultra bietet, war Samsung zuversichtlich, dass die neueste Iteration des 100-fachen Digitalzooms die Benutzer beeindrucken wird, sagte der Vizepräsident.
"Die Verarbeitungszeit ist der Schlüssel für eine Funktion wie den 100-fachen Zoom, und wir haben die Rechenressourcen, um damit umzugehen. Ein Teil der Arbeit wird von der NPU und ein anderer von der GPU erledigt. Und das alles in einem überschaubaren Zeitrahmen, da der Zoom im Wesentlichen ein bestimmter Bereich des Sensors ist - zum Beispiel eine Zone von 12 MP Zone von einem 108 MP Sensor. So erhält ein Zoom-Snap zahlreiche Eingänge dieser kleineren 12MP Zone.
"Bei Bildern, die mit einem 30-fachen Digitalzoom aufgenommen wurden, nimmt die Kamera zwischen zehn und zwanzig Hintergrundbilder auf einmal auf. Dann wird mit der Synthese der mehreren Frames fortgefahren. Danach führt es eine weitere Nachbearbeitung durch, um festzustellen, welche Details es verbessern möchte", sagte Cho.
Der 108-MP-Kamerasensor des Galaxy S22 Ultra kann außerdem bis zu neun Pixel zu einem zusammenfassen, um nachts Licht besser zu absorbieren. Diese Technologie ist mit KI-Modellen gekoppelt, die darauf trainiert sind, das Rauschen zu reduzieren und sicherzustellen, dass die Bilder "das Gefühl der Nacht" haben, während die Helligkeit erhöht wird, sagte der Vizepräsident.
"Das Signal-Rausch-Verhältnis wird stark beeinflusst, wenn es dunkel ist. Also haben wir ein neues KI-Modell entwickelt, um das Rauschen zu reduzieren. Wir hatten diese KI-Modelleisenbahn auf verschiedenen Fotos, die nachts aufgenommen wurden, von denen, die mit einer DSLR-Kamera aufgenommen wurden, bis hin zu synthetischen Bildern, die wir erstellt haben und bei denen die Helligkeit oder das Rauschen absichtlich erhöht wurde."
Samsung hat auch die Art und Weise geändert, wie die Kameras die Nachtfotografie im Allgemeinen angehen: "Bei früheren Galaxy S-Handys mit einer 108-MP-Kamera haben wir die Pixelzahl auf 12 MP reduziert und das Bild dann auf 108 MP hochskaliert. Wenn beim Galaxy S22 Ultra nachts Fotos aufgenommen werden, wird die Aufnahme von der 108-MP-Kamera und der 12-MP-Kamera aufgenommen. Die groben Details des Bildes werden von der 12-MP-Kamera geliefert, während die feinen Details von der 108-MP-Kamera bereitgestellt werden."
Bild: Matthew Miller
Leveln ganz nah an DSLR
Alle drei Modelle der Galaxy S22-Serie bieten den Auto- und Pro-Modus der regulären Kamera-App sowie die herunterladbare Expert RAW-App, die RAW-Dateien mit mehreren Bildern bereitstellt, die mit Adobe Lightroom bearbeitet werden können.
"Wir wollten wirklich, dass die Kameras der Galaxy S22-Serie sowohl Gelegenheitsanwender als auch professionelle Benutzer abdecken", sagte Cho. "Die Kunden kennen sich heute sehr gut mit Smartphone-Kameras aus. Mit dem Automatikmodus, der sich an die Mehrheit der Benutzer richtet, haben wir den Szenenoptimierer standardmäßig aktiviert, um die besten Farben für häufig aufgenommene Szenen auf Fotos zu erzeugen. Außerdem wollten wir, dass der Bildschirm ohne Symbole übersichtlich ist, während die Kamerawerte jetzt numerisch angezeigt werden. Wir wollten, dass die Benutzeroberfläche so einfach wie möglich ist."
Während der Pro-Modus mit RAW-Problemen zu kämpfen hat, bietet die Expert RAW-App 16-Bit-RAW-Dateien mit mehreren Bildern.
"Wir haben die NPU- und KI-Modelle für die 16-Bit-RAW-Dateien voll ausgenutzt. Ein Schnappschuss sammelt zwanzig Aufnahmen des Hintergrunds und die Benutzer können bis zu vier Kameras gleichzeitig für das Ultra-Modell verwenden", sagte der Vizepräsident.
DSLR-Kameras verfügen über große Sensoren, die es ihnen ermöglichen, RAW-Bilder ohne Rauschen aufzunehmen, aber bisher war es bei Smartphone-Kameras schwierig, dies bei schlechten Lichtverhältnissen zu emulieren, da sie mit kleineren Sensoren ausgestattet sind. Aber mit der Rechenleistung, die die NPU der Galaxy S22-Serie bietet, entsprechen ihre 16-Bit-RAW-Dateien denen von DSLR-Kameras, so Cho.
"Profis wollen heute RAW-Dateien von ihren Smartphones. Ein Smartphone ist für sie ein sehr praktisches Werkzeug, da ein Smartphone ihnen vier Linsen in der Handfläche geben kann. Bei DSLR-Kameras muss man die vier Objektive mit sich herumtragen. Wir wollten dieser Gruppe wirklich das gleiche Matching-Erlebnis auf unseren Smartphones bieten wie auf einer DSLR. Alle Funktionen einer DSLR werden auch bei der Galaxy S22-Serie angeboten, einschließlich der Nachbearbeitung."
Auf der Suche nach dem besten Kamera-Setup
Jedes Jahr verdoppelt sich die Rechenleistung von NPUs und dieser Trend wird sich voraussichtlich mindestens in den nächsten fünf Jahren fortsetzen, sagte der Vizepräsident von Samsung.
Die NPUs können heute 16-Bit-Arithmetik und Gleitkomma-Arithmetik verarbeiten, wobei die Geschwindigkeit und Präzision der Ausführung in den kommenden Jahren voraussichtlich weiter zunehmen wird, sagte Cho.
In Verbindung mit dieser Zunahme der Rechenressourcen wird erwartet, dass sich die Entwicklung der computergestützten Fotografie - oder digitaler Bilderfassungs- und -verarbeitungstechniken - von Kameras auf Smartphones weiter verbessern wird.
"Das am meisten diskutierte Thema in der Computerfotografie ist die Multi-Kamera-Technologie. Forscher und Unternehmen erforschen immer noch, welches Kamera-Setup am besten geeignet ist. Wir könnten mehr oder weniger Kameras hinzufügen. Wir sind immer noch auf der Suche nach dem optimalen Multi-Kamera-Setup", sagte der Vizepräsident.
"Kameras sind heute das Herzstück von Smartphones und wir gehen davon aus, dass sich dieser Trend im nächsten Jahrzehnt fortsetzen wird. Während wir derzeit 60 KI-Modelle anwenden, gehen wir davon aus, dass alle Funktionen der Kamera, die von Hunderten von Algorithmen gesteuert wird, von der NPU ausgeführt werden.
"16-Bit-RAW-Dateien haben derzeit Einschränkungen in Bezug auf die Auflösung. Dies muss kontinuierlich verbessert werden. Wenn es um 4K- und 8K-Videos geht, benötigen wir zur Verbesserung der Echtzeitauflösung noch mehr Rechenleistung als heute. Das wird in zwei bis drei Jahren dauern."