Qualcomm explains how the Snapdragon 888 is changing the camera game

In Smartphones ist ein ISP oder ein Bildsignalprozessor für grundlegende Bildverarbeitungsaufgaben wie Weißabgleich, Autofokus und HDR verantwortlich. Im Laufe der Jahre sind diese Prozessoren fortschrittlicher und vollwertiger geworden und können jetzt viel mehr Daten gleichzeitig verarbeiten. Dies hat zu vielen Fortschritten geführt, die wir in den letzten Jahren bei der Qualität von Smartphone-Kameras gesehen haben.

Im vergangenen Jahr hat der Spectra 470 ISP im Snapdragon 865 von Qualcomm die Zwei-Gigapixel-Grenze überschritten. Das heißt, es konnte zwei Milliarden Pixel in einer Sekunde verarbeiten und so einige ziemlich unglaubliche Funktionen in Smartphone-Kameras freischalten.

Verpassen Sie nicht: Die wichtigsten Funktionen von Qualcomm Snapdragon 888, die Sie kennen müssen

Die gleichzeitige Verarbeitung so vieler Daten ermöglichte unter anderem die Unterstützung von 200 MP-Bilderfassung, 8K-Videoaufzeichnung und semantischer Segmentierung für eine bessere Verbesserung der KI-Fotos. Mit einem Anstieg der Gesamtgeschwindigkeit um 40% war es ein ziemlich massives Upgrade gegenüber dem Spectra 380 im Snapdragon 855.

In diesem Jahr möchte Qualcomm den ISP des letzten Jahres deutlich übertreffen und mit seinem neuen Prozessor, dem Qualcomm Snapdragon 888, eine um 35% schnellere Leistung ankündigen. Aber was macht Qualcomm mit 2,7 Gigapixeln Durchsatz? Android Authority hatte die Gelegenheit, mit Judd Heape, Senior Director für Produktmanagement für Kamera bei Qualcomm, zu sprechen, um dies herauszufinden.

Drei Kameras gleichzeitig

Qualcomm Snapdragon 888 Kamera Highlights

Eine der größten Änderungen am Snapdragon 888 von Qualcomm ist die Hinzufügung eines dritten Bildsignalprozessors. Seit der Einführung des Spectra ISP haben frühere Snapdragon-SoCs zwei davon gepackt. Das bedeutete, dass Smartphones, die Qualcomms Chips verwenden, mit zwei Kameras gleichzeitig aufnehmen konnten, aber es bedeutete auch, dass Qualcomm einen viel höheren Durchsatz für eine einzelne Kamera haben konnte. Die Umstellung des Unternehmens auf die gleichzeitige Verarbeitung von vier Pixeln im Snapdragon 865 ermöglichte den massiven Leistungszuwachs von 40% bei seinem ISP der letzten Generation. In diesem Jahr verfolgt Qualcomm jedoch einen einfacheren Ansatz: Volumen.

Weiterlesen: Snapdragon SoC-Handbuch – Alle Smartphone-Prozessoren von Qualcomm werden erklärt

Mit dem Snapdragon 888 erweitert das Unternehmen seinen SoC um einen weiteren Bildsignalprozessor. Damit sind es zum ersten Mal in einem Qualcomm-Chip drei. Dies eröffnet eine Reihe neuer Funktionen, aber eine der interessantesten ist die Unterstützung für die Aufnahme mit drei Kameras gleichzeitig. Angesichts der Tatsache, dass viele Flaggschiff-Smartphones jetzt über mindestens drei Rückfahrkameras verfügen, können Benutzer mit dem dritten ISP drei Brennweiten gleichzeitig aufnehmen, bis zu 4K 10-Bit-Videos mit 30 Bildern pro Sekunde. Wenn Sie eine Szene aufnehmen und während der Bearbeitung zwischen drei verschiedenen Brennweiten wechseln möchten, unterstützt der Snapdragon 888 dies. OEMs müssen es jedoch in ihre Geräte implementieren.

Durch die Verwendung von drei ISPs werden auch Verbesserungen beim Zoomen der Smartphone-Kamera freigeschaltet. Der letztjährige Snapdragon 865 ermöglichte einen reibungslosen Zoom zwischen den Sensoren, was den Eindruck erweckte, dass Sie einen einzelnen Telezoom und nicht drei separate Objektive verwendeten. Mit nur zwei ISPs war es für den Chiphersteller jedoch nicht so einfach zu wissen, zu welchem ​​Objektiv Sie zu einem bestimmten Zeitpunkt wechseln würden.

„Früher mussten wir raten, auf welches Objektiv Sie umsteigen würden“, sagt Judd Heape, Senior Director Produktmanagement für Kamera bei Qualcomm. “Jetzt müssen wir nicht mehr.”

Während Sie im Allgemeinen einen sanften Zoom zwischen den Objektiven sehen, kann es beim Umschalten eines ISP auf einen anderen Sensor häufig zu Verzögerungen kommen, wenn Sie die Brennweiten unerwartet vertauschen. Mit drei ISPs kann Qualcomm alle drei Sensoren gleichzeitig aktivieren, vorausgesetzt, Ihr Smartphone verfügt nur über drei Rückfahrkameras.

Superschnelle Aufnahme und Wiedergabe

Google Pixel 5 macht ein Foto 3

Anerkennung: David Imel / Android Authority

Während Geräte, auf denen der Snapdragon 888 ausgeführt wird, aufgrund dieses dritten ISP drei 10-Bit-4k-HDR-Videostreams mit 30 Bildern pro Sekunde aufnehmen können, überlegte Qualcomm, was passieren würde, wenn der gesamte Durchsatz an einem Ort zusammengefasst würde. Schließlich verfügen viele moderne Smartphones über 90-Hz-, 120-Hz- und sogar 144-Hz-Displays. Sollten Sie nicht in der Lage sein, Videos mit der gleichen Geschwindigkeit aufzunehmen?

Mit drei Spectra 670-ISPs im Snapdragon 888 kann der Chip einen Durchsatz von 2,7 Gpix / s (Gigapixel pro Sekunde) erreichen. Mit so vielen Daten kann Qualcomm einen einzelnen Videostream mit 4K 120fps aufnehmen und wiedergeben. Wenn Sie also ein Smartphone mit einem 120-Hz-Display haben, können Sie Videos mit der Bildrate Ihres Displays aufnehmen und anzeigen. Wenn Sie der Meinung sind, dass 60-fps-Videos flüssig sind, ist dies der nächste Schritt nach vorne.

Judd Heape

Genau wie bei HDR 10 und Dolby HDR-Videos müssen sowohl das Gerät, auf dem Sie das Video ansehen, als auch die Anzeigeplattform die Wiedergabe mit 120 Bildern pro Sekunde unterstützen. Derzeit unterstützt YouTube beispielsweise nur die Wiedergabe von 4K-Videos mit bis zu 60 Bildern pro Sekunde. Wenn Sie direkt für ein anderes Gerät freigeben, muss dieses Gerät auch über ein 120-Hz-Display verfügen, damit das Video so aufgenommen werden kann, wie es aufgenommen wurde. Je beliebter das Format wird, desto wahrscheinlicher wird es von Geräten und Schlauchdiensten unterstützt.

Computergestütztes HDR-Video

Sony Xperia 1 II macht ein Foto

Anerkennung: David Imel / Android Authority

Während Smartphone-Kameras aufgrund der HDR-Verarbeitung jetzt Fotos mit einem erstaunlichen Dynamikbereich produzieren können, haben Smartphone-Videos im Allgemeinen nicht von denselben Verbesserungen profitiert. Dies ist in der Tat ein wichtiger Grund dafür, dass die Videoaufzeichnung von Google Pixel 5 bei weitem nicht so gut ist wie die Fotofunktionen. Während sich die Computerfotografie in den letzten Jahren rasant entwickelt hat, ist Video im Allgemeinen ein nachträglicher Gedanke geblieben.

Jetzt hofft Qualcomm, dies durch eine gestaffelte HDR-Videoaufnahme zu ändern. Zunächst sollte ich beachten, dass sich die gestaffelte HDR stark von HDR 10 und Dolby HDR-Videos unterscheidet. Während dies Standards sind, die die Helligkeit eines Displays definieren und festlegen, wie viele Farbdetails in Glanzlicht- und Schattenbereichen erfasst werden können, zielt das gestaffelte HDR-Video darauf ab, dasselbe Ziel wie HDR-Fotos zu erreichen. Es verwendet die Mehrfachbelichtungsverarbeitung, um so viele Glanzlicht- und Schattendetails wie möglich beizubehalten.

Versetztes HDR-Video ist ein großer Sprung nach vorne.

Versetztes HDR-Video erfasst mehrere Belichtungen für jedes Bild mit jeweils unterschiedlicher Verschlusszeit. Aus diesem Grund kann der Sensor Details sowohl im Glanzlicht- als auch im Schattenbereich beibehalten und dann die Belichtung zusammenführen, um einen ausgewogeneren Videostream zu erzielen. Heape sagt mir, dass der Snapdragon 888 dies theoretisch mit 60 fps tun kann und 120 Bilder in einer Sekunde aufnimmt. Derzeit entscheidet er sich jedoch dafür, den meisten OEMs eine 30-fps-Computational-HDR-Aufnahme zu empfehlen.

Derzeit verschmilzt der Snapdragon 888 zwei Belichtungen pro Bild, aber Heape schloss drei oder mehr Belichtungen pro Bild in zukünftigen Snapdragon-Modellen nicht aus, um einen noch besseren Dynamikbereich zu erzielen.

„Wir könnten in Zukunft sicherlich drei oder mehr Belichtungen pro Bild sehen“, sagt Heape. “Das kommt definitiv nicht in Frage.”

84MP-Bilder ohne Verschlussverzögerung

Google Pixel 4a nimmt eine Winkeleinstellung des Fotobildschirms vor

Anerkennung: David Imel / Android Authority

Auf Smartphones entspricht das Aufnehmen eines Videos fast dem Anzeigen eines konstanten Streams von der Kamera zu Ihrem Display. Der einzige Unterschied besteht darin, diese Bilder tatsächlich zu speichern. Trotzdem speichern die meisten Smartphones Frames vorübergehend im RAM, um die Momente vor, während und nach dem Drücken des Auslösers festzuhalten. Dies ist die Technologie, die Dinge wie HDR-Fotos, Live-Fotos usw. ermöglicht.

Im vergangenen Jahr hat der Qualcomm Snapdragon 865 die Möglichkeit freigeschaltet, 64-Megapixel-Bilder ohne Verschlussverzögerung anzuzeigen und aufzunehmen. Dies bedeutete, dass ein Smartphone mit dem Chip einen 64-Megapixel-Bildstrom mit 30 Bildern pro Sekunde anzeigen konnte und keine Verzögerung oder kein Stromausfall zwischen dem Antippen des Verschlusses und dem Speichern des Bildes im Speicher auftrat. Jetzt denken Sie wahrscheinlich: “Moment mal, wenn nur 64-Megapixel-Bilder unterstützt werden, wie haben Telefone wie das Samsung Galaxy Note 20 Ultra 108-Megapixel-Fotos aufgenommen?”

Hier ist, was Heape zu sagen hatte:

Bei Telefonen mit Snapdragon 865 wurden 108 MP-Bilder mit einer Auflösung von 1/4 in der Vorschau angezeigt. Wenn der Benutzer auf den Auslöser tippte, wechselte der Sensor für ein Bild in den 108MP-Modus, speicherte dieses Bild in den Speicher und setzte die Anzeige der Szene mit einer Auflösung von 1/4 fort. Aus diesem Grund betrachtet Qualcomm 108MP-Bilder nicht als null Verschlussverzögerung.

“Es gibt heute keinen Bildsensor, keine MIPI PHY-Schnittstelle oder keinen ISP, der im ZSL-Modus wirklich mit 108 MP bei 30 fps (3,2 Gpix / Sek.) Laufen kann”, fuhr Heape fort. “Aber schließen Sie das nicht für die Zukunft aus.”

Trotzdem hat die Geschwindigkeitssteigerung von 35% beim Snapdragon 888 ISP 84MP-Bilder ohne Verschlussverzögerung freigeschaltet. Dies bedeutet, dass Benutzer das Bild in voller Auflösung sehen, bevor sie auf den Auslöser tippen (bis zu 84 MP). Während das Snapdragon 888 das für die Anzeige von 108MP-Bildern in voller Auflösung erforderliche Kontingent von 3,2 Gpix / Sek. Nicht ganz erreicht hat, lassen Verbesserungen in den letzten zwei Generationen 108MP ZSL-Bilder für die nahe Zukunft vielversprechend aussehen.

Intelligenter Autofokus

Google Pixel 5 macht ein Foto 4 1

Anerkennung: David Imel / Android Authority

Im Snapdragon 888 wollte Qualcomm das verbessern, was es “die drei A” nennt. Dies sind automatische Belichtung, automatischer Weißabgleich und Autofokus. Zu diesem Zweck trainierte das Unternehmen den Snapdragon 888 mithilfe von maschinellem Lernen an einer Vielzahl von Bildern, wie ein Bild unter bestimmten Umständen aussehen sollte. Beim Autofokus ging Qualcomm jedoch noch einen Schritt weiter. Es trainierte den Chip mit echten Menschen.

Wir haben KI und maschinelles Lernen verwendet, um die automatische Belichtung, den Weißabgleich und den Autofokus zu trainieren “, sagt Heape. “Aber im Falle des Autofokus haben wir echte Menschen eingesetzt.”

Siehe auch: Die besten Android-Kamerahandys, die Sie bekommen können

Qualcomm verwendete VR-Headsets mit Eye-Tracking-Technologie, um zu verfolgen, wo ein Mensch aussah, wenn ihm ein bestimmtes Bild präsentiert wurde. Selbst wenn sich ein Objekt im Vordergrund befindet, bedeutet dies nicht, dass es das Motiv des Fotos ist. Menschen sind ziemlich gut darin, das wahre Motiv in einer bestimmten Szene zu unterscheiden. Wenn Sie also den Chip mit den Augenbewegungen der Menschen trainieren, kann sich der Snapdragon 888 mit viel höherer Präzision auf das wahre Motiv konzentrieren. Qualcomm sagt, dass sie Hunderte von Motiven und Tausende von Bildern verwendet haben, um diesen Datensatz zu erstellen. Es sollte sich hoffentlich in zukünftigen Snapdragon-Modellen noch weiter verbessern.

Besserer Autofokus neben Multi-Frame-Rauschunterdrückung und Qualcomms HDR-Engine ermöglichen es Sensoren auch, etwas zu tun, was Smartphones zuvor noch nicht getan haben – – Fokus auf nur 0,1 Lux Helligkeit. Während frühere Geräte verwirrt waren und bei dieser extremen Dunkelheit nicht effektiv arbeiten konnten, ist Qualcomm zuversichtlich, dass seine neue Architektur bei schlechten Lichtverhältnissen dies erreichen kann. Dies könnte für das Filmemachen sehr groß sein und den Entwicklern mehr Reichweite bieten, wenn sie versuchen, in Szenarien mit schlechten Lichtverhältnissen zu filmen.


Bei Geräten, auf denen der Snapdragon 888 ausgeführt wird, gibt es noch weitere Kameraverbesserungen. Viele dieser Änderungen haben jedoch mit anderen Komponenten wie der Hexagon AI-Engine zu tun. Ein dritter ISP allein hat Qualcomm einen massiven Sprung in den Verarbeitungsfähigkeiten des Snapdragon 888 beschert, und wir hoffen, dass wir in zukünftigen Snapdragon-Generationen ähnliche Verbesserungen sehen werden.

Source link

Related Posts