고화소 카메라

[CamCyclopedia담당]

👨‍🎓김종현

목차

    1. 200MP Adaptive Pixel - 언제 어디서든 밝고 선명한 이미지
    2. Multi-frame Image Processing with Neural Network - 센서의 물리적인 한계 극복
    3. 갤럭시 S23 카메라에서의 고화소
    4. Camera Assistant와의 연계

200MP Adaptive Pixel - 언제 어디서든 밝고 선명한 이미지

갤럭시 S23 울트라에는 초고화소 기술이 집약된 2억 화소 (200MP) 이미지센서가 도입되었습니다.

동일한 옵티컬 포맷에 픽셀수가 2억 화소까지 늘어남에 따라 픽셀당 수광 면적은 줄어들었고, 이는 노이즈의 증가로 이어집니다.

이러한 물리적인 제약을 극복하고 언제 어디서든 밝고 선명한 이미지 촬영이 가능하도록 '200MP 적응형 픽셀 (200MP Adaptive Pixel)'기술을 적용하였습니다.

'200MP 적응형 픽셀 (200MP Adaptive Pixel)'은 조도 조건에 따라 적응형으로 4개 또는 16개의 인접 픽셀을 묶어 수광 면적을 확대하는 기술입니다. 중조도 환경 또는 역광과 같은 High Dynamic Range (HDR) 환경에서는 50MP, 그리고 야간과 같은 저조도 환경에서는 12MP로 전환하여 최적의 화질을 위한 충분한 광량을 확보하고 있습니다.

따라서 저조도 환경에서는 노이즈가 적은 야경 사진을 촬영할 수 있지만, 밝은 환경에서 촬영된 결과물에 비해 디테일 표현이 다소 떨어질 수 있습니다. 사용자가 200MP 모드를 선택하였을 경우에는 Adaptive Pixel 기술로 촬영된 영상(50MP, 12MP)에 이미지 업스케일링을 적용하여 200MP 결과물로 저장합니다. (저조도 환경에서 동일 기술을 활용하여 업스케일링 하는 방식은 S22 108MP 모드에도 적용되어 있습니다.)

※ Camera Assistant에 Adaptive Pixel On/Off 옵션을 제공하여, 사용자가 원하는 해상도로 촬영할 수 있도록 하는 방안을 검토 중입니다.

Multi-frame Image Processing with Neural Network - 센서의 물리적인 한계 극복

Multi-frame 영상 처리란 다중 프레임 영상을 활용하여 다양한 센서의 물리적인 한계를 극복하는 기술입니다. 특히 고화소 센서에서는 작은 픽셀들로 인해 노이즈가 필연적으로 수반되기 때문에, 노이즈를 제거하고 제한된 다이나믹 레인지를 복원하기 위해 개발되었고, 갤럭시 S23 시리즈에 적용되었습니다.

기본적으로 프레임 간 움직임을 추정 및 보상하고, 이를 바탕으로 다중 프레임을 합성하는 알고리즘입니다. 동일한 노출을 갖는 장면을 여러 장 촬영하고 누적하여 노이즈를 저감할 수 있으며, 저조도 상황에 효과적입니다.

다중 프레임 노이즈 제거 알고리즘은 HDR 복원을 위한 기술로 확장되었습니다. 장노출 및 단노출로 구성된 노출이 다른 여러 장의 영상을 활용하여 제한된 다이나믹 레인지를 복원하고, HDR 영상을 일반적인 컬러 값으로 매핑하는 과정인 톤 매핑을 통해 HDR 효과가 적용된 영상을 획득합니다. 조명이 있거나 역광 상황에서 효과적으로 작용합니다.

또한, '200MP 적응형 픽셀 (200MP Adaptive Pixel)'기술을 적용함에 따라 입력 영상이 Tetra² / Tetra / Bayer의 3가지 Color Filter Array (CFA) 패턴 구조를 갖게 되며, 다양한 CFA 구조의 입력 영상으로부터 디테일을 극대화하기 위해 AI 디모자익 및 디노이즈 알고리즘과 결합되었습니다.

센서의 물리적인 노이즈 특성을 모델링하고, 이를 바탕으로 수천~수만 장의 고해상도 영상으로 학습된 AI 신경망이 사용되었습니다. AI 디모자익 및 디노이즈과 관련된 자세한 내용은 '딥러닝 기반 화질 개선 AI 기술'을 참고해주세요.

이를 통해 노이즈를 제거함과 동시에 디테일을 극대화하며, 다이나믹 레인지가 확장된 영상을 제공하게 되었습니다.

갤럭시 S23 카메라에서의 고화소

위에서 언급한 'Multi-frame 영상 처리 기술', 그리고 '딥러닝 기반 화질 개선 AI 기술'을 결합하여 최적의 S/W ISP pipeline을 구성하였고, 센서의 물리적인 한계를 극복할 수 있도록 갤럭시 S23 시리즈에 적용하였습니다. 또한, '200MP 적응형 픽셀'기술을 도입하여 갤럭시 S23 울트라에서 최상의 화질을 제공할 수 있도록 상품화하였습니다.

Camera Assistant와의 연계

고화소 촬영도 Camera Assistant와 연계가 가능하며, 아래 그림에서 보는 봐와 같이 '속도 우선' 와 '화질 우선' 두 가지 옵션을 선택 가능합니다.

'화질 우선'은 위에서 언급한 'Multi-frame Image Processing with Neural Network' 기술을 적용하여 최적의 화질을 제공하지만, 많은 화소를 Software 처리해야하기 때문에 최종 결과물을 얻는데 시간이 다소 필요합니다. 이에 반해 '속도 우선'은 기존의 Hardware 영상처리 기술을 적용하여, 화질은 '화질 우선'보다 조금 떨어지지만 빠르게 결과물을 확인할 수 있는 장점이 있습니다.

여기에서 혼동하지 말아야할 점은, '속도 우선'에서 말하는 '속도'는 "얼마나 빠르게 연속촬영을 할 수 있나"가 아닌 "얼마나 빠르게 결과물을 얻을 수 있나"의 개념이라는 것입니다. 한장의 영상을 촬영하는 과정은 크게 1) 처리해야할 영상을 획득하는 Capture 단계와 2) 실제 영상을 처리하는 Processing 단계로 나눌 수 있습니다. 아래 그림에서 볼 수 있듯, '속도 우선' 모드는 Capture와 Processing을 이어서 처리합니다. 반면에 '화질 우선' 모드는 영상을 획득하는 Capture를 이어서 처리하고, 긴 시간이 소요되는 Processing을 분리하여 후처리합니다. 따라서 '속도 우선' 모드가 마치 촬영 속도가 '느린' 것처럼 보이지만 촬영 결과물을 바로 바로 확인할 수 있는 '빠른' 모드 입니다.

CamCyclopedia(카메라 백과사전) 목차 바로 가기

CamCyclopedia 소개글 바로 가기

이외에도 CamCyclopedia는 커뮤니티 -> 카테고리(app) -> CamCyclopedia -> “CamCyclopedia 목차”를 통해 언제든지 확인하실 수 있습니다.