신규 레코딩 모드 ( HEVC 인코딩 )

[CamCyclopedia담당]

👨‍🎓이경일

목차

    1. “고효율 동영상 화질 우선” 모드 소개
    2. “높은 비트레이트 동영상” 모드 소개
    3. H.265(HEVC)의 특징과 갤럭시에서의 HEVC
    4. 참고

“고효율 동영상 화질 우선” 모드 소개

S23에서 HEVC(High Efficiency Video Coding)을 사용하는 “고효율 동영상 화질 우선” 모드가 추가되었고 동영상 촬영 시 기본으로 선택됩니다.

따라서 이전과 비교해 동등 또는 더 좋은 화질로 저장하면서 저장 공간을 절약할 수 있게 되었습니다.
그리고 영상 특징에 따라 화질은 다소 저하될 수 있지만, 저장 공간을 더욱 절약하고 싶으신 사용자를 위한 “공간 절약 우선” 모드도 여전히 지원하고 있습니다.

 “카메라 설정”에 가면 아래와 같은 메뉴가 있으며 선호에 따라 모드를 선택하시면 됩니다.

“높은 비트레이트 동영상” 모드 소개

S23에 HEVC 코덱을 이용한 또 다른 신규 기능이 있습니다.
바로 “높은 비트레이트 동영상” 모드인데요, 움직임이 빠르거나 복잡도가 높아서 압축하기 어려운 영상도 원본과 비슷하게 레코딩하기 위한 모드입니다.
고화질의 영상을 저장하기 위해 파일 크기는 약 2배 정도 커질 수 있지만, 어떤 상황에서도 고화질로 저장을 해야 할 경우에 사용하면 좋을 기능이라 소개해 드립니다.
설정 방법은 아래와 같이 해주시면 됩니다. 그리고 그 결과를 보실까요?

아래 영상은 복잡도가 매우 높은 영상입니다. 압축을 하기 위한 기본인 “이전 영상을 참조” 하는 동작이 거의 이뤄지지 않는 어려운 영상입니다.
왼쪽 기본 모드는 풀의 모양이 제대로 인코딩 되지 못해 흐리거나 잔상이 생겨 있습니다.
반면 오른쪽 “높은 비트레이트 모드”는 풀의 모양이 깔끔하게 인코딩이 되었습니다.

H.265(HEVC)의 특징과 갤럭시에서의 HEVC

“화질 우선”과 “공간 절약 우선” 모드는 H.264(AVC)보다 압축 효율(Coding Efficiency)이 좋은 H.265(HEVC)를 사용합니다.

HEVC는 AVC보다 최대 50%의 압축률을 목표로 표준화가 진행되었습니다. 따라서 동일한 화질을 최대 절반의 용량으로 압축할 수 있도록 많은 새로운 기술들이 들어가 있습니다.

과거에는 VGA급(640x480)의 해상도의 영상을 주로 시청했었지만 최근에는 FHD(1920x1080), UHD(3840x2160) 그리고 아직 흔하지는 않지만 8K(7680x4320)의 영상까지 존재합니다.
다음 그림을 보면 해상도에 따라 영상의 크기를 볼 수 있는데요 과거에 비해 영상의 크기가 많이 커지게 되었습니다.

따라서 HEVC 코덱을 만들 때, 큰 영상에 적합해야 한다는 요구사항이 있었고, 표준화는 큰 해상도에서 AVC보다 더욱 효과적으로 압축할 수 있도록 많은 기술들이 고안되었습니다.
표준화 시 측정했던 해상도 별 압축효율을 보면 다음과 같습니다.
해상도가 커짐에 따라 압축효율이 높아지고 있습니다. 즉, HEVC는 고해상도 영상에 적합한 코덱이라는 의미입니다.

저장 공간 측면을 보면, 1시간 영상을 저장할 때 AVC와 동등한 화질을 레코딩하는데 절반의 공간만 필요하게 됩니다.

그 외 다양한 특징들이 있지만 너무 깊게 설명하기보다는 대표적인 특징들과 현재 갤럭시의 현황에 대해서 설명드리겠습니다.

먼저 코덱에서 압축을 하는 기본 단위를 “매크로 블록(MacroBlock MB)”, 또는 “코딩 유닛(Coding Unit, CU)” 이라고 부릅니다. (AVC까지는 MB였고, HEVC부터는 CU라고 부릅니다)

AVC까지는 매크로 블록의 크기는 16x16픽셀이였습니다.
하지만 영상의 크기가 커지면 16x16픽셀로 압축을 할 때 낭비되는 데이터가 많아지게 됩니다.
따라서 HEVC는 CU라는 개념을 도입해 크기를 32x32, 64x64와 같이 크게 사용할 수 있게 되었습니다.
 이렇게 크기가 커지면 복잡하지 않은 영역은 32x32 또는 64x64 크기로 압축하기 때문에 낭비되는 데이터 크기를 상당히 줄일 수 있습니다.
아래 그림을 보면 HEVC의 CU가 영상의 특징에 따라 적절한 CU 크기를 선택하고 있습니다

HEVC에서 CU 크기가 커짐에 따라 해상도가 큰 영상의 압축에 유리하고, 일반적인 영상에서도 AVC에 비해 높은 효율로 압축을 할 수 있게 되었습니다.

그리고 비디오 인코더는 기본적으로 “이미 인코딩 된 영상”을 참조해서 현재 영상을 인코딩 합니다. 여기서 인코딩은 압축과 같은 의미라고 보시면 됩니다.

“현재 코딩할 영상”은 “참조 영상”에서 CU 단위로 비슷한 영상을 찾습니다. 만약 비슷한 영상이 없게 되면 비슷한 영상을 주변 픽셀 값을 이용해 최대한 비슷한 값을 만들어 냅니다.
이렇게 현재 영상과 비슷한 영상을 찾거나 만드는 동작을 통해 “예측 영상”을 만들어 냅니다.
이 “예측 영상”은 매우 중요합니다.
왜냐하면 “현재 코딩할 영상”에서 “예측 영상”을 뺀 데이터를 코딩하기 때문입니다.

위 그림을 보면 “예측 작업”은 다양한 크기의 MB(또는 CU)로 다양한 예측 작업을 수행합니다.
그 결과 만들어진 “예측 영상”은 오른쪽입니다. 뭔가 비슷하면서도 이상하죠?
여기서 정말 중요한 점은 “예측 영상을 잘 만드는 것이 압축 성능을 좌우한다”입니다.
원본 영상을 이렇게 만들어진 예측 영상으로 빼면 “잔여 데이터”가 남게 되는데 이 잔여 데이터를 저장하게 됩니다.
잔여 데이터는 이렇게 생겼어요. 무슨 노이즈 같아 보입니다.

이후에 DCT, 양자화, VLC 등 아직 많은 단계가 남아 있지만 코덱을 설명하는 페이지가 아니니까 그 부분은 생략하겠습니다.
다시 한번 말씀드리지만 핵심은 “예측 영상”을 잘 만들어야 한다는 것입니다. 그것이 코덱의 압축 효율, 즉 압축 성능과 밀접한 관련이 있기 때문입니다.

아래는 모든 조건을 동일하게 한 후 AVC와 HEVC를 통해 만들어진 “예측 영상”입니다.

둘 중에 어떤 예측 영상이 잘 만들어진 것 같나요?
HEVC의 예측 영상이 조금 더 잘 만들어진 것 같지 않나요? 그래서 잔여 데이터가 덜 나오게 되고 압축 효율이 좋아집니다.

HEVC는 압축을 위해 사용되던 기능이 업그레이드되고, 새로운 기능이 추가되었습니다. 따라서 복잡도가 매우 높아졌습니다.
디코딩 복잡도는 약 1.5 ~ 2배 정도 높아졌고, 인코딩 복잡도는 무려 10배 정도 높아졌습니다.

현재 갤럭시는 HEVC의 모든 성능을 내지 못하고 있습니다. 성능이 매우 뛰어난 오픈소스 코덱인 x265도 마찬가지입니다.
하지만 갤럭시의 코덱은 좋은 “예측 영상”을 만들어 내기 위해 기능 업그레이드와 새로운 기능 추가가 꾸준히 이뤄지고 있습니다.
아래 두 영상을 보시면 Note10보다 S23의 인코딩 품질이 더 좋은 것을 보실 수 있습니다.
저희는 매년 고객에게 고품질의 영상을 제공하기 위해 노력하고 있습니다. 앞으로 더욱 기대해 주세요.

CamCyclopedia(카메라 백과사전) 목차 바로 가기

CamCyclopedia 소개글 바로 가기

이외에도 CamCyclopedia는 커뮤니티 -> 카테고리(app) -> CamCyclopedia -> “CamCyclopedia 목차”를 통해 언제든지 확인하실 수 있습니다.

참고

[1] https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding