돌비 애트모스 객체 채널 음상 정위가 부정확한 원인 규명 및 해결방안(본 문제는 안드로이드 13에서 해결되었습니다.)

[Anonymous]

**지난번 게시물도 그렇고 이번 게시물도 그렇고, 자꾸 제가 객체객체 거리는데 독자중 일부는 게시글에서 의미하는 "객체 채널"이 무엇을 의미하는지 모르시는 분들도 계실 것입니다. "객체"는 돌비 애트모스 오디오의 근간을 이루고 정체성 그 자체라고 할 수 있는 매우 중요한 요소입니다. 불고기버거에 불고기패티가 없으면 그건 불고기버거라고 할 수 없듯, 돌비 애트모스는 객체 사운드가 그 존재가치를 대변합니다. 그러므로 게시글에서 언급하는 객체 채널이 무엇인지 모르시는 분들은 https://quasarzone.com/bbs/qb_tip/views/48324 이 게시글의 두번째 섹션 "돌비 애트모스란 무엇인가?" 를 필히 참조하고 오시기를 부탁드립니다.**

시작하겠습니다. 

https://r1.community.samsung.com/t5/%EA%B0%A4%EB%9F%AD%EC%8B%9C-%EB%85%B8%ED%8A%B8/%EB%8F%8C%EB%B9%8... 

 지난번 게시글에서 돌비 애트모스 음장을 켜고 돌비 애트모스 컨텐츠 감상시, 왜 객체 채널의 음상이 이상한 곳에 정위되는지 추정했고 문의를 드렸습니다.

 이번 게시글에서는 원인 규명 및 해결방안을 다룹니다. 들어가기에 앞서 원인을 규명하는데 엄청난 도움이 된 해외 사용자 포럼 정보글 작성자 분들께 깊은 감사를 표하며, 출처를 게시합니다.

3년앞서 통상의 미디어 플레이어에서 돌비 애트모스 음장의 객체 채널 음상 정위 문제를 발견하고 시연한 TheSpider12님의 게시글 

2년전 통상의 미디어 플레이어에서 애트모스 메타데이터가 왜 돌비 액세스로 전달되지 않는지 규명한 Ajay님의 게시글

 결론부터 말씀드리겠습니다. 현재 갤럭시에 탑재된 돌비 애트모스 음장은 애트모스 컨텐츠 재생시 애트모스 사운드를 청취자에게 제공하지 않으며, 단순한 5.1 가상 서라운드 경험만을 제공합니다. 그러므로 음장 이름을 돌비 애트모스가 아닌 돌비 5.1로 바꾸거나, 제시할 해결방안을 수용하는것을 고려부탁드립니다.

 객체 채널의 음상이 부정확한 곳에 정위되는 이유는 애트모스 메타데이터가 애트모스 버추얼라이저로 전달되지 않기 때문이며, 버추얼라이저로 전달되지 않는 이유는 갤럭시와 버추얼라이저가 Dolby Mat 2.0을 통해 상호작용하지 않기 때문입니다.

 Dolby Mat 이란 무엇입니까? https://thehometheaterdiy.com/what-is-dolby-mat/

https://www.avproedge.com/news/a-deep-dive-into-dolby-mat

 상기 게시글들을 읽어보시면 됩니다. 대충 내용을 요약하자면 Dolby Mat은 Dolby Metadata-enhanced Audio Transmission의 약어로, 돌비 애트모스 오디오가 발신지(TV/컴퓨터)로부터 돌비 애트모스 리시버(사운드바/스피커)로 전달되는 방식중 하나입니다. 예를 들어 Dolby Mat 2.0을 지원하는 Apple TV 4K 셋톱박스와 애트모스 사운드바가 있다고 가정하고 오디오 전달과정을 살펴보겠습니다.

 돌비 애트모스 컨텐츠 스트리밍 -> 셋톱박스에 내장된 Dolby Mat 2.0 인코더로 애트모스 오디오(5.1 채널 DD+ JOC) 수신 -> DD+ JOC 컨테이너로부터 애트모스 메타데이터 분리 및 DD+ 5.1 오디오 트랙을 LPCM 5.1 오디오로 트랜스코딩 -> LPCM 5.1과 애트모스 메타데이터를 통합/HDMI를 통해 사운드바로 전송 -> 사운드바의 Dolby Mat 2.0 디코더로 수신 -> 애트모스 렌더링 및 최종 사운드 출력

 Dolby Mat을 설명한 이유는, 윈도우가 제공하는 Dolby Access 앱의 Dolby Atmos for Headphones (DAFH로 부르겠습니다) 음장 또한 Dolby Mat 2.0 디코더를 사용하여 동작하기 때문입니다. 

스크린샷을 보시면 Dolby Mat 라이브러리가 Dolby Access에 상주하고 있음을 확인할 수 있습니다.

 그렇다면, 위 스크린샷을 통해 돌비사가 공식적으로 돌비 애트모스를 지원한다고 밝힌 앱들에는 당연히 Dolby Mat 2.0 인코더가 탑재되어 있겠구나 하고 기정사실화가 가능해집니다. 이 나열된 앱들중 Movie and TV는 로컬 파일 재생을 지원하는 미디어 플레이어입니다. 지난번 게시글에서 돌비 애트모스 사운드 출력 영상을 Movie and TV 앱을 통해 재생하여 음상 정위를 확인해보았었습니다.

<참고로 본 게시물의 영상들은 영상 플레이어마다 볼륨 출력 수준이 달라 알아서 일정 수준으로 조절해 들으시면되고, 영상 자체적으로 DAFH 음장을 적용해놨기 때문에 갤럭시 음장이 켜져 있다면 끄고 들으셔야 합니다. 그리고 꼭 스피커 말고 이어폰/헤드폰을 통해 들으시기 바랍니다.>

 위 영상이 이전 게시물에 업로드했던 영상으로, Dolby Access가 제공하는 DAFH를 켜고 Movie and TV를 통해 돌비 애트모스 사운드 출력 테스트 영상을 재생한 것입니다. 이어폰/헤드폰을 끼고 들어보시면 5.1 베드와 객체 사운드를 출력하는 모든 스피커 하나하나의 위치가 구별된다는 것을 알 수 있습니다. 

 Dolby Mat 2.0 인코더를 탑재한 Movie and TV 에서 돌비 애트모스 영상을 재생할 때 사운드가 우리 헤드폰에 도달하기까지, 어떠한 오디오 전달과정이 이루어지는지 살펴보겠습니다.

 돌비 애트모스 파일 재생 -> Movie and TV 앱에 내장된 Dolby Mat 2.0 인코더로 애트모스 오디오(5.1 채널 DD+ JOC) 입력 -> DD+ JOC 컨테이너로부터 애트모스 메타데이터 분리 및 DD+ 5.1 오디오 트랙을 LPCM 5.1 오디오로 트랜스코딩 -> LPCM 5.1과 애트모스 메타데이터를 통합/Dolby Access로 전송 -> Dolby Access의 Dolby Mat 2.0 디코더로 수신 -> DAFH의 HRTF 필터링 및 바이노럴 렌더링 시작 -> 2채널 바이노럴 오디오로 헤드폰으로 최종 출력

 그렇다면, Dolby Mat 2.0 인코딩을 지원하지 않는 다른 미디어 플레이어들(팟플레이어, VLC, MPC-HC, Kodi 등)에서 이 영상을 재생하면 무슨일이 발생할까요?

 위 영상은 DAFH 음장을 켜고 팟플레이어를 통해 돌비 애트모스 사운드 출력 테스트 영상을 재생한 것입니다.

 들어보시면 Movie and TV 로 재생했을때와 다르게 객체 채널 사운드를 출력하는 스피커의 음상들이 부정확하게 정위된다는 것을 알 수 있습니다. 지난번 게시물에서 다룬 갤럭시용 음장을 적용했을 때 발생한 현상과 동일한 이상이 발생한 것입니다.

 이게 지난번 게시물에 업로드 했던, 갤럭시 스마트폰에 돌비 애트모스 음장을 켜고 재생했을 때의 소리 출력을 담은 영상이죠.

 위 사진과 같이, Dolby Mat 2.0 인코딩을 지원하지 않을 경우 애트모스 메타데이터가 전달되지 않으면서 돌비 액세스가 되었든, 갤럭시의 돌비 애트모스 버추얼라이저가 되었든 간에, 객체 사운드가 5.1 베드 채널에 통합되어 전달되기 때문에, 음상 정위가 올바르지 못하게 됩니다.

https://games.dolby.com/atmos/documentation/ 

위 문서에도 다음과 같은 내용이 기술되어 있습니다. 
Dolby Atmos for Headphones 섹션의 내용중 "개별 Dolby Atmos 객체는 자체 HRTF 함수로 처리되므로, 가상 스피커 사이의 팬텀 이미지 패닝을 사용하여 3D 공간에서 사운드를 찾는 베드 채널에서 재생하는 것보다 공간 정확도를 높입니다."

 이것은 객체 채널을 바이노럴 렌더링 할 때 음상 정위가 초정밀하게 이루어진다는 것을 말해줍니다. 하지만 애트모스 메타데이터를 전달받지 못할경우, 이미 언급하였듯 객체가 5.1 베드 채널에 통합되기 때문에 "개별 Dolby Atmos 객체를 자체 HRTF 함수로 처리" 하는 프로세스가 이루어지지 않아 음상 정위가 부정확해진다는 결론을 도출할 수 있습니다.

 즉 현 갤럭시에 탑재되어 있는 돌비 애트모스 음장은, 돌비 애트모스 컨텐츠 재생시에 사용자에게 높이를 포함한 360도 전방향을 대상으로한, 정확한 위치에서 소리가 날아오는 진정한 돌비 애트모스 사운드 경험을 시사하는 것이 아닌, 5개의 제한된 방향에서 소리가 날아오는 5.1채널 가상 서라운드 사운드를 들려주고 있습니다.

 그러므로 갤럭시용 돌비 애트모스 버추얼라이저에도 윈도우의 돌비 액세스 작동 방식과 같이, Dolby Mat 2.0 전송기술을 채택하여 사용자가 진정한 돌비 애트모스 경험을 할 수 있도록 만들어주실 것을 고려부탁드립니다.

음상 정위를 테스트 하는데 사용한 영상 다운로드 링크 :https://drive.google.com/u/0/uc?id=1b1S_7Su9jMEDHhDFnBSMXa3nYTVYrmOT&export=download

[오디오담당 · Accepted solution]

안녕하세요, Audio 담당입니다.
당사 제품에 관심과 소중한 의견 주셔서 감사드립니다.

고객님께서 문의하신 갤럭시 단말에서의 돌비 애트모스 객체 채널 음상 정위 및 Dolby Atmos Brand guide line 관련 미국 본사와 검토하는데 생각보다 시일이 많이 소요되어 답변이 늦어진 점 양해 부탁드립니다.

1. Dolby Atmos 채널 음상 정위
  - 돌비 애트모스 테스트톤(DD+JOC).mkv (고객님 공유 파일)
     . 해당 파일은 애트모스 컨텐츠가 아니여서 단말의 Dolby Atmos 설정 auto on 미동작합니다.
재생 시 단말의 Dolby Atmos 설정을 자동 또는 영화 profile 로 설정 후 채널 음상 정위 확인 시 말씀하신 빨간색 동그라미 스피커 집합 내에서 구분이 되는 상태입니다.

  - 돌비 스트리밍 mp4 먹서로 재먹싱한.mp4 (고객님 공유 파일)
     . 애트모스 컨텐츠로 구분되어 단말의 Dolby Atmos 설정 auto on 동작하며 채널 음상 정위 확인 시 스피커 집합 내에서 위치 구분이 되고 있습니다.

  - 당사는 제품 출시 및 OS 업그레이드 시점에 관련 테스트 항목들을 포함해서 돌비 인증을 받고 시장에 출시하고 있습니다.

2. Dolby Atmos 브랜드
  - Samsung Android OS 단말에는 Dolby Audio X3(DAX3)가 탑재되어 있으며 관련 인증 테스트 및 인증서를 발급받고 있으므로 Dolby Atmos Brand guide line 에 따라 Dolby Atmos 음장 이름을 사용하는데 문제가 없습니다.

고객님의 문의사항에 충분한 답변이 안 되었거나 추가 문의사항이 있으시면 돌비 미국 본사와 확인 후에 답변 드리겠습니다.
감사합니다.

[Anonymous]

검토해주신점 진심으로 감사드립니다. 그러나 게시글의 요지가 정확히 전달되지 못한것 같아 직관적으로 이해가능하도록 한문장으로 사안을 다시 전달드리겠습니다.

빨간색 동그라미 집합내에서(집합간을 의미하는게 아닙니다) 스피커들의 위치를 구별할 수 없습니다. 직관적으로 이해가능하도록 그림을 다시 그려 이 댓글에 게시하였으니 꼭 참조부탁드립니다.

[오디오담당]

안녕하세요, Audio 담당입니다.

저희쪽에서는 고객님의 표현을 제대로 이해하고 확인 했었는데 답변의 표현이 잘못 된 것 같습니다.

이 부분은 기존 답변을 정정하도록 해서 오해의 소지가 없도록 하겠습니다.

개발팀에서 T-OS 버전으로 확인 시 빨간색 동그라미 집합 내에서의 스피커 위치를 구분할 수 있었고 고객님께서도 동일한 경험을 하신 것 같아 다행입니다.

당사 제품에 많은 관심 가져주셔서 감사드리며 앞으로도 고객분들께 좋은 서비스를 할 수 있도록 최선을 다하겠습니다.

감사합니다.

[Anonymous]

감사합니다 담당자님. 마지막으로 질문 한가지만 더 드려도 괜찮겠습니까?

돌비 애트모스 컨텐츠로 식별되면, Dolby Atmos 설정 auto on이 동작된다고 말씀하셨는데 식별 알고리즘이 구체적으로 어떻게 되는지 궁금합니다.

우선 조건이 EAC3-JOC, 또는 AC4-IMS 오디오 스트림이 MP4 컨테이너에 포함되어 있어야 한다는 것 까지는 알고 있는데, 이외에도 필요한 조건이 더 있는 것 같더군요.

제가 EAC3-JOC 오디오 스트림이 담긴 MKV 비디오를, FFMPEG를 사용하여 MP4로 리먹스 했을 때는 Dolby Atmos 설정 auto on이 동작하지 않았습니다.

반면, 돌비사가 깃허브를 통해 제공하는 MP4 스트리밍 먹서 ( https://github.com/DolbyLaboratories/dlb_mp4base) 를 사용하여 MP4로 리먹스 하였을 때는 Dolby Atmos 설정 Auto on이 동작하였는데, 왜 그런건지 궁금합니다.

[오디오담당]

안녕하세요. Audio 담당입니다.

추가 문의하신 부분에 대해 돌비 미국 본사측과 내용 확인 후에 공유드릴 수 있도록 하겠습니다.

감사합니다.

[오디오담당]

안녕하세요, Audio 담당입니다.

추가 문의주신 내용에 대해 돌비 본사로부터 답변이 오기까지 시간이 소요된 점 양해 부탁드리며, 고객님께 돌비 본사 답변 내용을 전달드리니 참고 부탁드립니다.

[Dolby]
Dolby Atmos 식별 알고리즘에 대하여 직접적으로 언급해 드리기는 어렵습니다.
실험을 진행하신 것처럼 Auto On이 동작한다는 의미는 해당 컨텐츠는 Dolby contents라는 의미이며, Auto On이 동작하지 않는 다는 의미는 해당 컨텐츠는 Dolby contents가 아니라는 의미입니다.

고객님의 불편 해결에 도움이 될 수 있도록 노력하겠습니다.
감사합니다.

[Anonymous]

이렇게까지 답변을 해주시니 진심으로 감사합니다. 돌비 애트모스 식별 알고리즘에 관해서는 몇주전에 이미 밝혀내는데 성공하였습니다.

제가 MediaInfo 라고 불리는 소프트웨어를 사용하여 돌비 애트모스 컨텐츠로 간주되는 영상과, 돌비 애트모스 컨텐츠로 간주되지 않는 영상의 정보를 교차비교해 보았습니다.

Complexity index 라고 불리는 값이 존재하지 않을 경우(Not present) 해당 비디오는 돌비 애트모스 컨텐츠로 간주되지 않습니다.

즉, 돌비 애트모스 컨텐츠로 식별되기 위해서는 다음의 두가지 조건을 충족해야 함이 확인되었습니다.
1. 컨테이너가 mkv가 아닌 mp4 일 것.
2. Complexity Index 가 정상적으로 존재해야 할 것.

노고가 많으십니다. 좋은 하루 되십시오. 감사합니다.

[Anonymous]

보고드릴 버그가 있습니다. 안드로이드 13 운영체제에서, AC4-IMS 애트모스 컨텐츠 재생시 Dolby Atmos 설정 Auto On이 동작하는데, 이때 자동으로 적용되는 프로필이 가시적으로는 영화 프로필로 표시되지만 실제로는 음악 프로필이 적용되는 버그가 발생합니다. 발생 빈도는 "항상" 입니다.

EAC3-JOC Atmos 콘텐츠 재생시에는 가시적으로 영화프로필이 적용된 것으로 표시되며, 실제로도 영화프로필이 적용되어 정상동작합니다.

직접 교차비교해보실 수 있도록 다운로드 링크도 첨부합니다.

DD+JOC 애트모스 컨텐츠 : https://drive.google.com/u/0/uc?id=1LP0AZm1rhZ9pHuTGgiNWnYMUhoMgb7-8&export=download

AC4-IMS 애트모스 컨텐츠 :
https://drive.google.com/u/0/uc?id=1XCGRXs-jd3c3qM9VbZvOwbIv2h7h5i20&export=download

[Anonymous]

오늘 갤럭시 노트 20 울트라 안드로이드 13 베타 펌웨어를 다운로드 받고 테스트 결과, 안드로이드 13에서 문제가 해결되었음을 확인했습니다.

조속히 문제를 해결해주셔서 진심으로 감사드립니다!!

[오디오담당]

안녕하세요. Audio 담당입니다.

Dolby MAT 은 audio pcm data 와 meta data 를 함께 전송하는 방식으로 AV receiver 에서나 사용되며 data throuput 량이 크기 때문에 모바일에서는 적합하지 않은 포맷입니다.
당사에 적용된 Dolby Audio X3(DAX3)에서는 DD+, DD+ JOC, AC4-IMS 와 같은 모바일에 적합한 metadata 가 포함된 Atmos format 을 지원하고 있는 점 참고 부탁드립니다.

고객님의 불편 해결에 도움이 될 수 있도록 노력하겠습니다.
감사합니다.