취소
다음에 대한 결과 표시 
다음에 대한 검색 
다음을 의미합니까? 

멀티프레임 합성 기술

옵션

👨‍🎓임상현

목차

    1. 멀티프레임 합성이란?
    2. 멀티프레임 합성의 효과
    3. 갤럭시에 탑재된 멀티프레임 합성기술
    4. 참고

멀티프레임 합성이란?

Multiframe_13.png

 

멀티프레임 합성(Multi-frame processing)이란 사용자가 영상을 촬영할 때 여러 장의 영상을 합성하여 한 장의 영상을 생성하는 기술입니다.

스마트폰 카메라는 일반 카메라(미러리스)와 비교해서 렌즈와 센서의 크기가 작습니다. 센서의 픽셀당 크기가 작기 때문에 빛이 도달하는 양이 적어지고, 상대적으로 노이즈가 증가하게 되며, 밝은 영역과 어두운 영역을 표현하는 범위(Dynamic Range)도 좁아집니다.

고사양의 스마트폰의 경우 상대적으로 큰 크기의 센서를 탑재하고 있지만, 휴대성도 고려해야 하기 때문에 일반 카메라(미러리스)보다는 센서의 크기가 작습니다.

스마트폰 카메라에서는 렌즈와 센서 크기로 발생하는 제약을 극복하기 위하여, 여러 장의 영상을 합쳐서 하나의 영상을 생성하는 기술을 적용하고 있습니다. 이를 Multi-frame processing이라고 부릅니다.

 

Multiframe_15.png

 

Multiframe_16.png

 

멀티프레임 합성의 효과

Multi-frame processing으로 얻을 수 있는 효과는 노이즈 제거와 HDR 효과 그리고 고해상도(Super Resolution) 영상 생성이 있습니다.

 

노이즈 제거

센서에서 노이즈가 발생하게 되면 최종 영상으로 저장하기 전에 영상 처리를 하여 노이즈를 제거하게 됩니다. 주변 픽셀을 평균하거나 중간 값을 선택하는 방법 등의 영상 처리 방법을 사용하면 노이즈가 제거되기는 하지만 영상의 화질이 저하되는 문제점이 있습니다.

멀티프레임 합성기술을 사용하면, 영상의 화질 저하를 최소화하면서 노이즈를 제거할 수 있습니다.

Multiframe_25.png

위 그림에서 연속 촬영된 영상을 보면 노이즈가 계속 변화하는 것을 관찰할 수 있고, 여러 장의 영상을 합성한 결과는 노이즈가 적어진 영상(오른쪽 영상)을 보여줍니다.

이렇게 Multi-frame processing은 여러 장의 영상을 합성하여 한 장의 노이즈가 적어진 영상을 만듭니다.

 

HDR(High Dynamic Range) 효과

밝기가 다른 두 개 이상의 영상을 합성하여 밝은 영역과 어두운 영역을 넓게 표현(HDR: High Dynamic Range)할 수 있습니다.

카메라의 노출 제어 시스템(AE)에서 결정된 밝기와 비교하여 절반 어두운 영상, 더 많이 어두운 영상, 혹은 더 밝은 영상을 연속해서 촬영하여 밝기가 다른 두 개 이상의 영상을 촬영합니다.

이 때 영상의 밝기 차이는 조도나 촬영 환경에 따라 결정될 수 있습니다.

야외 역광이나 조명이 있는 밤거리에서 영상을 촬영하면 밝은 부분이 포화 되어서 하얗게 표현되게 되는데, 이 때 어둡게 촬영한 영상을 합성하게 되면 포화 영역을 표현할 수 있습니다. 그림자와 같은 영상의 어두운 영역은 밝게 촬영된 영상을 합성하여 어두운 영역을 밝게 표현할 수도 있습니다.

 

Multiframe_26.png

 

다양한 장면에서 어떠한 밝기의 조합으로 촬영하는지에 따라 최적의 HDR 영상을 생성할 수 있습니다.

이렇게 노출이 다른 영상을 합성하는 경우에는 밝은 영역과 어두운 영역이 더 잘 표현된 HDR 영상을 얻을 수 있습니다.

 

고해상도 영상 생성

Multi-frame processing을 사용하여 고해상도의 사진을 생성할 수도 있습니다.

여러 장의 영상을 사용하는 방법으로는 저해상도의 영상으로 고해상도의 영상을 생성하는 Super Resolution이 있습니다.

 

Multiframe_31.png

 

상단의 그림을 확대하면(디지털 줌) 하단 왼쪽 그림처럼 보여집니다. 이 때 Multi-frame processing을 사용하여 고해상도 영상을 생성하면 하단 오른쪽 그림처럼 표현됩니다.

사용자가 카메라의 줌을 사용했을 때 디지털 줌으로 인한 화질 저하를 개선하고 노이즈를 제거하며, 선명도와 디테일을 향상 시키는 효과가 있습니다.

 

움직임이 있는 영상

여러 장의 영상을 얻기 위해 연속으로 촬영을 하게 되면 영상 간의 촬영시간 차이가 있습니다. 카메라가 움직이거나 영상 속의 사물이 움직이고 있다면 여러 장의 영상을 합성하기 어려워집니다.

이러한 현상을 줄이기 위해 카메라를 들고 있는 손의 떨림을 감소할 수 있는 OIS(Optical Image Stabilization) 기술과 모션을 감지할 수 있는 기술을 사용하고 있습니다.

Multiframe_41.png

 

움직임이 있는 영상을 합성하는 경우에 영상의 화각이 좁아지거나 주변부가 흐릿하게 남을 수 있습니다. 위 그림에서 가장 많은 영상이 겹쳐진 영상으로 영상을 잘라내거나, 영상이 겹쳐지지 않은 영역은 흐릿하게 처리할 수 있습니다.

 

갤럭시에 탑재된 멀티프레임 합성기술

갤럭시에서 카메라를 실행하고 촬영하면 장면에 따라 자동으로 멀티프레임 합성기술이 적용되어 노이즈 제거와 HDR효과가 적용됩니다.

 

Multiframe_61.png

 

카메라 프리뷰 화면의 1x 을 누른 후 그 아래에 나타나는 30x 버튼을 누르면 고배율 줌 촬영이 가능합니다.

갤럭시 S22 울트라에서는 20배 이상의 줌을 사용할 때, 갤럭시 S22에서는 10배 이상의 줌을 사용할 때 고해상도 영상을 생성합니다.

 

Multiframe_63.png

 

빛이 부족한 밤에 나이토그래피를 촬영할 때에도 멀티프레임 합성기술이 사용됩니다.

사진 모드에서 달 아이콘이 보일 때 촬영하거나, 나이트 모드로 진입하여 촬영 시간이 표시될 때 나이토그래피 사진을 촬영할 수 있습니다.

나이트로 촬영될 때 남은 촬영 시간이 표시되며, Multi-frame processing 동작이 완료되면 노이즈와 밝기가 개선된 영상이 저장됩니다.

 

Multiframe_67.png

Multiframe_68.png

갤럭시 스토어에서 제공하는 Expert RAW 앱 에서도 Multi-frame processing 을 사용하고 있습니다. 그 외에 3rd party 카메라 앱에서도 Multi-frame processing 기술이 적용되도록 협력하고 있습니다.

Multi-frame processing으로 영상 처리를 할 때에는 Deep Learning 기반 화질 개선 AI기술도 함께 사용되고 있습니다.


CamCyclopedia(카메라 백과사전) 목차 바로 가기

CamCyclopedia 소개글 바로 가기

이외에도 CamCyclopedia는 커뮤니티 -> 카테고리(app) -> CamCyclopedia -> “CamCyclopedia 목차를 통해 언제든지 확인하실 수 있습니다.

참고

[1] Night Solution Youtube(https://youtu.be/Sjm6CcBFnp4?t=49)
[2] 위 이미지들 중 일부는 설명을 목적으로 그래픽효과가 적용된 가상 이미지입니다.

9 의견