Konten
- Apa Itu ISP?
- Struktur Dasar ISP
- Blok Utama ISP
- ISP pada Kamera Galaxy
- Blok ISP Lainnya
- Referensi
Apa Itu ISP (Image Signal Processor)?
ISP adalah perangkat yang memproses data digital dari sensor gambar. ISP dapat meningkatkan, memulihkan, mengonversi, dan mengompres gambar, serta banyak lagi. Semua kamera dilengkapi dengan chip ISP bawaan. Dulu, ISP merupakan chip terpisah pada ponsel, tetapi sekarang sebagian besar ISP tertanam dalam AP (Application Processor).
Sensor gambar mengirim sinyal ke ISP di dalam AP pada kamera Galaxy, dan ISP bertanggung jawab atas gambar akhir yang kamu lihat.
Struktur Dasar ISP
Setiap produsen chip AP memiliki ciri khas struktur ISP. Di sini, kita akan membahas struktur paling dasar.
- Diagram blok dasar ISP
Blok Utama ISP
Mari kita lihat 8 blok dasar dan representatif ISP yang disebutkan di atas.
- Pedestal Cut
Karena berbagai sifat fisik sensor gambar (seperti dark current), bahkan dalam kondisi gelap tanpa data, nilai tertentu masih diumpankan ke ISP. Jika data sensor yang hampir tidak dapat dibaca (terdistorsi) ini tidak dihilangkan, gambar akan terlihat seperti melayang atau warna hitam tidak terlihat hitam.
Sebagai analogi, bayangkan menimbang sesuatu dalam kantong plastik dengan timbangan yang sangat presisi. Kamu menimbang kantong plastik secara terpisah dan mengurangi bobot ini dari bobot yang tertera pada timbangan.
- LSC (Lens Shading Compensation/Correction)
Lens shading adalah berkurangnya intensitas cahaya atau saturasi pada gambar saat bergerak dari pusat ke tepi gambar, karena sifat optik lensa. LSC (Lens Shading Compensation atau Correction) adalah blok yang memperbaiki lens shading.
Koreksi ini menerapkan penguatan (gain) yang berbeda di bagian tengah dan tepi gambar, yaitu menggunakan lebih banyak penguatan di bagian tepi untuk menjaga keseimbangan keseluruhan.
Secara umum, lens shading sebagian besar dibicarakan dalam hal kecerahan. Jika kita menambahkan 'color' di depannya, “color shading" mengacu pada perbedaan warna di bagian tengah dan tepi.
Cara mengoreksi/menyeimbangkan lens shading
Penguatan di bagian tengah dan tepi diterapkan secara berbeda (penguatan lebih banyak di bagian samping). Misalnya, jika penguatan di bagian tengah adalah 1x, penguatan di bagian sudut 5x.
- WB (White Balance)
Blok ini membantu kamera menyeimbangkan warna dan membuatnya akurat. Blok ini memastikan bahwa gambar memiliki WB Gain yang seragam dan bahwa RGB dari area abu-abu (akromatik) disesuaikan ke nilai yang sama (untuk menggambarkan abu-abu sebagai abu-abu).
Output sensor yang dikirim ke ISP memiliki saluran hijau dua kali lebih banyak dibandingkan warna lainnya. Inilah alasan mengapa gambar mentah secara keseluruhan terlihat hijau sebelum WB Gain diterapkan. (Lihat 'De-mosaic' di bawah)
- De-mosaic (= Bayer Interpolation, Color Interpolation)
Sebagian besar kamera smartphone menggunakan sensor tipe Bayer (atau pola). Sensor Bayer, seperti yang diilustrasikan di bawah*[2], adalah sensor kombinasi 3 filter warna yang dipasang di atas array fotodiode.
=> Satu piksel bisa merupakan piksel merah, hijau, atau biru.
Filter ini disebut 'Color Filter Array', dan setiap gambar yang disaring melalui filter warna ini memiliki satu warna per piksel. Piksel satu warna ini melalui proses rekonstruksi warna yang disebut 'demosaic', di mana mereka menggunakan informasi dari piksel tetangga untuk menghasilkan gambar dengan 3 warna penuh.
Blok yang melakukan 'demosaic' biasanya dikenal sebagai Demosaic, Bayer Interpolation, atau Color Interpolation.
- CCM (Color Correction Matrix)*[3]
Blok CCM menyeimbangkan representasi warna tidak akurat (jangka pendek) yang diinduksi oleh sensor gambar. Hasil warna yang dihasilkan oleh sensor cukup berbeda dari yang dilihat manusia. Blok CCM mengubah hasil ini menjadi warna sesuai yang dilihat mata manusia.
Blok ini mengoreksi warna secara real-time untuk input data RGB dengan memultiplikasi peningkatan/penurunan gain pada merah, hijau, atau biru.
- Gamma
Gamma, atau biasa disebut 'Gamma Correction', mengubah intensitas cahaya yang datang menggunakan fungsi non-linear (I/O tidak 1:1). Diketahui bahwa tabung sinar katode (CRT) digunakan secara populer di masa lalu dan koreksi gamma membantu dalam mengoreksi output non-linearnya. Kamu bisa melihat ilustrasi karakter non-linear pada grafik nomor 2 di bawah ini.
Meskipun teknologi telah berkembang dan tabung CRT sekarang menghasilkan output yang lebih linear (diagram 1), koreksi gamma masih digunakan. Selain karena sifat perangkat output, alasan utama penggunaan koreksi gamma adalah karena penglihatan manusia juga merespons cahaya secara non-linear, seperti yang dinyatakan Hukum Weber[4]. Artinya, mata manusia lebih sensitif terhadap perubahan cahaya dalam kondisi gelap, tetapi kurang sensitif terhadap perubahan cahaya dalam kondisi terang.
Kita membutuhkan fungsi non-linear atau koreksi gamma untuk menyesuaikan dengan penglihatan manusia yang non-linear ini (Grafik no. 2). Grafik ketiga di bawah ini (kanan) adalah cara penerapan umum dan versi yang dikoreksi dari grafik fungsi non-linear kedua.
- Setelah koreksi gamma
- Noise Reduction (NR)
Blok NR membantu mengurangi noise pada gambar atau video. Berikut ini dua metode NR yang paling umum dan dasar:
- menemukan rata-rata piksel di sekitar noise dan menggunakan nilai rata-rata tersebut untuk mengatur data piksel noise.
- menemukan median piksel yang terdistribusi di sekitar noise dan menggunakan nilai median (filter median) ini untuk mengatur data piksel noise.
Namun, penggunaan NR yang terlalu intens dapat menyebabkan hilangnya detail pada gambar. Oleh karena itu, perlu dipertimbangkan adanya keseimbangan antara pengurangan noise dan detail gambar. Tujuan NR adalah mengurangi noise sambil mempertahankan sebanyak mungkin informasi pada setiap piksel yang diterima dari sensor gambar.
Setiap produsen chip AP memiliki teknologi dan struktur sendiri untuk algoritma dan mekanisme NR. Secara garis besar, NR dapat dibagi menjadi dua jenis:
- 2D-NR atau Spatial-NR: menggunakan mekanisme NR yang disebutkan di atas (nilai rata-rata atau median piksel sekitar) untuk menghilangkan noise dalam satu frame gambar.
3D-NR atau Time-Domain-NR/ Multiframe-NR: mengambil beberapa gambar (multiple frames) untuk memisahkan noise dari sinyal secara lebih baik dan hanya menerapkan NR pada piksel yang terdapat noise. Konsep dasarnya mirip dengan teknik Multi-frame Processing di CamCyclopedia. Perbedaannya terletak pada tempat penerapannya, apakah di perangkat lunak (SW) atau perangkat keras (HW).
- Sharpen (Peningkatan Ketajaman)
Blok ini menyeimbangkan atau mengoptimalkan kehilangan detail atau ketajaman yang disebabkan oleh blok NR (Noise Reduction) sebelumnya atau keterbatasan kinerja perangkat keras, seperti sensor atau lensa.
Beberapa teknik hanya untuk pengeditan pasca-produksi dan tujuannya adalah untuk memperlebar perbedaan antara area tertentu dengan piksel di sekitarnya. Oleh karena itu, peningkatan noise tidak dapat dihindari, dan kamu juga dapat mengalami distorsi gambar yang tidak diinginkan. Dengan kata lain, ada trade-off antara Sharpen dan NR seperti yang dibahas pada poin no. 7.
Setiap produsen chip AP memiliki teknologi dan struktur sendiri untuk 'sharpen', dan cara paling dasar adalah dengan meningkatkan perbedaan piksel di tepi (Gambar 2) atau mengurangi jarak kemiringan (Gambar 3) seperti yang ditunjukkan di bawah ini.
Gambar pertama di bawah adalah gambar aslinya. Gambar kedua hanya melalui langkah 3 (gambar 3 di atas), dan gambar ketiga telah melalui langkah 2 dan 3 di atas.
ISP pada Kamera Galaxy
Sekarang, kita akan bahas gambaran sekilas tentang fungsi masing-masing blok ISP di kamera Galaxy.
Pedestal Cut
LSC (Lens Shading Correction)
Demosaic (Bayer Interpolation)
CCM (Color Correction Matrix)
Gamma
NR (Noise Reduction)
Sharpen
Blok ISP Lainnya
Selain blok utama ISP yang sudah dibahas, ada beberapa blok lain yang juga penting. Keberadaan blok-blok ini mungkin berbeda tergantung dari produsen chip AP, tapi umumnya tersedia di kamera smartphone.
FD (Deteksi Wajah)
Blok ini mendeteksi wajah dalam gambar/video dan mengirimkan koordinatnya ke blok berikutnya. Koordinat wajah ini bisa digunakan untuk menerapkan berbagai fitur lain.
[Contoh Penggunaan] Informasi FD digunakan dalam blok algoritma AWB (White Balance Otomatis) dan AE (Eksposur Otomatis)
- Ketika wajah terdeteksi, kamera akan membandingkan dan mengoreksi perbedaan antara kecerahan wajah dan target kecerahan keseluruhan gambar. Koordinat wajah digunakan untuk menyesuaikan kecerahan wajah, dll.
- Jika beberapa sumber cahaya terdeteksi menyinari wajah dan berefek besar pada wajah, data FD ini dapat digunakan untuk mengoreksi warna pada wajah. Misalnya, jika wajah terdeteksi dalam kondisi cahaya dengan temperatur warna rendah yang menghasilkan sedikit cahaya kemerahan, koordinat wajah digunakan untuk menyesuaikan warna wajah.
Kamu Perlu Tahu*[4]
Fitur ini memungkinkan kamu untuk menentukan objek tertentu dalam gambar/video dan mengategorikannya. Selain itu, kamu bisa menerapkan pengaturan kualitas gambar yang berbeda ke segmen gambar yang berbeda. Misalnya, kamu bisa mengelompokkan gambar sebagai rambut, rumput, atau langit dan menerapkan pengaturan kualitas gambar yang berbeda ke setiap area.
Referensi
[1] Beberapa gambar di atas ditambahkan efek grafis untuk demonstrasi.
[2] Filter Warna Bayer: https://en.wikipedia.org/wiki/Bayer_filter (Artwork by Cburnett CC BY 3.0)
[3] Temukan detail lebih lanjut di artikel “Warna pada Kamera” dari CamCyclopedia Index.
[4] https://namu.wiki/w/베버의 법칙
[5] Fitur ini sedang dalam tahap pengembangan dan akan diterapkan pada beberapa model flagship, seperti Galaxy S22, dll.
