Z 폴드5 언더 디스플레이 카메라(UDC) 선명도 개선

[CamCyclopedia담당]

👨‍🎓김재겸,👨‍🎓박정민,👨‍🎓최재성

목차

  1. 언더 디스플레이 카메라(UDC)란 
  2. 갤럭시의 언더 디스플레이 카메라(UDC) 
  3. 더욱 향상된 Z 폴드5 UDC 기술

언더 디스플레이 카메라(UDC)란

UDC(Under Display Camera)는 대화면 몰입감 향상을 위해 기존 펀치 홀(Punch Hole) 구조와 달리 카메라 홀 상부에도 디스플레이 픽셀을 배치한 형태의 구조를 갖는 카메라입니다.

UDC 홀 상부에는 홀 영역 디스플레이 구동을 위한 픽셀과 배선이 촘촘하게 배치되어 있어 카메라 화질에 직접적으로 영향을 끼치게 됩니다.

이는 마치 매우 촘촘한 방충망을 통해 창밖 풍경을 볼 때처럼 뿌옇게 되는 현상을 야기합니다. 또한 불투명한 픽셀 구조는 빛 투과율을 절반 이하로 저하시킵니다. 투과율 저하는 카메라 센서에 도달하는 광량 저하를 의미하며 일반 카메라 대비 노이즈 특성이 저하되는 문제를 발생시킵니다. 아래 사진은 UDC 구조로 인한 해상력 저하(상)와 노이즈 증가(하)를 보여주는 예시입니다.

갤럭시의 언더 디스플레이 카메라(UDC)

Z 폴드5 UDC에는 위와 같은 화질 저하 요소를 극복하기 위해 삼성전자에서 보유하고 있는 다수의 소프트웨어 기술이 적용되어 있습니다. 그중 대표로 아래 High Dynamic Range 멀티프레임 합성기술과 AI 기반 해상력 개선 솔루션을 소개합니다.

High Dynamic Range 멀티프레임 합성

Z 폴드5 UDC에는 저 투과율로 인한 노이즈와 뿌옇게 되는 현상으로 인한 밝은 영역 과포화 개선을 위해 UDC 전용 High Dynamic Range (HDR) 멀티프레임 합성기술이 적용되었습니다. HDR 멀티프레임 합성은 총 여러 프레임을 합성하여 노이즈를 개선하고 과포화 영역을 줄여줍니다.

UDC에 활용되는 HDR 멀티프레임 합성기술은 일반 카메라보다 많은 숫자의 프레임을 합성하기 때문에 촬영 시간 및 처리 속도가 길어지지만 UDC 화질 개선을 위해서는 필수입니다.

AI 기반 UDC 해상력 개선 솔루션

HDR 멀티프레임 합성 적용 시 노이즈와 과포화 영역은 개선되지만 픽셀 구조로 인해 뿌옇게 보이는 현상과 해상력 저하는 여전히 존재합니다. Z 폴드5 UDC에서는 이를 개선하기 위해 멀티프레임 합성 적용 후 AI 기반 UDC 해상력 개선 솔루션을 추가로 적용합니다.
AI 기반 UDC 해상력 개선 솔루션은 수만 장의 UDC 영상과 일반 카메라 영상이 조합된 데이터 셋을 학습하여 Z 폴드5 UDC 구조에 최적화된 해상력 보정 성능을 제공합니다.

Z 폴드5 UDC에서는 HDR 멀티프레임 합성과 AI 기반 UDC 해상력 개선 솔루션 등 첨단 영상처리 기술을 적용하여 실내외 다양한 환경에서 일반 카메라와의 화질 차이를 획기적으로 줄였습니다.

Preview 및 동영상

Preview 와 동영상에는 UDC 해상력 개선을 하기 위하여 실시간 영상처리가 (초당 30프레임 처리) 필요합니다. 이번 Z 폴드5에서는 실시간 AI 기반 해상력 개선 솔루션을 적용하여 많은 화질 개선을 이루었습니다. Preview 및 동영상에서도 빛 번짐, 해상력이 향상된 영상을 만나볼 수 있으며, 또한 AI 기반 노이즈 완화 기술도 적용되어, 노이즈가 한층 완화된 영상을 볼 수 있습니다.

실시간 솔루션의 성능 한계로 사진 대비 밝은 영역의 과포화는 환경에 따라 다소 심할 수 있습니다.

더욱 향상된 Z 폴드5 UDC 기술

이번 Z 폴드5 UDC에서는 더 생생한 사진 표현을 위해 다양한 기술들이 개발, 적용되었습니다. 그중 이번 핵심기술인 AI 기반 노이즈 완화(Denoise) 기술과  UDC 왜곡 보정 기술을 소개합니다.

AI 기반 UDC 노이즈 완화 기술

Z 폴드5 UDC에서는 기존에 적용되었던 노이즈 제거 기술보다 한층 더 진보된 노이즈 완화 기술이 적용되었습니다.
픽셀이 홀 영역에 위치함으로써 빛 투과율이 낮아 일반 카메라 대비 노이즈가 심한 UDC 구조의 단점을 보완하기 위해, UDC 특성이 반영된 노이즈 데이터를 수백만 장 활용하여 학습된 AI 노이즈 완화 기술을 개발하였습니다.
이 기술을 통해 Z 폴드5 UDC는 다양한 환경에서 이미지의 노이즈를 인식하고 노이즈의 완화 강도를 조절하여 사진을 표현합니다.

UDC 왜곡 보정 기술

Z 폴드5 UDC에서는 더욱 깨끗한 사진 표현을 위해 UDC 왜곡 보정 기술을 사용합니다.
UDC 디스플레이와 카메라 렌즈의 물리적 구조와 광학적 특성으로 발생하는 왜곡으로 인해 심화되는 해상력 저하를 개선하기 위해, UDC 하드웨어 특성을 반영한 왜곡 보정 기술을 개발하여 적용하였습니다.
이 기술을 통해 Z 폴드5 UDC는 더 나은 해상력을 갖는 사진을 표현합니다.

CamCyclopedia(카메라 백과사전) 목차 바로 가기

이외에도 CamCyclopedia는 커뮤니티 -> 카테고리(app) -> CamCyclopedia -> “CamCyclopedia 목차”를 통해 언제든지 확인하실 수 있습니다.