이머시브 오디오 뒤집어 보기

이머시브 바람이 전 세계를 뒤덮고 있다. 이 바람이 점차 거세져 요즘은 가히 ‘이머시브 광풍’이 불고 있다. 피아노 서라운드 녹음을 전공한 필자로서는 이러한 시대적 급변이 그저 놀라울 따름이다. 2006년, 필자의 박사 과정 연구 논문을 발표한 AES(Audio Engineering Society) 학회만 해도 서라운드 사운드에 열광하는 소수를 위한 축제와 같았다. 자신의 연구를 통해 세계를 놀라게 하겠다던 야심찬 연구자도, Dolby사로 직장을 찾은 동료도 더러 있었다. 어찌되었던 현재 이머시브의 영향력에 비교하면 연구 사촌들끼리 모여 하는 ‘동창회’ 느낌이 더욱 강했던 것은 사실이다.

그런데 어느 순간부터 서라운드 이야기는 눈 녹듯 사라지고 ‘이머시브’가 대세를 꿰차고 있다. 이미 우리 주변에서 쉽게 찾아볼 수 있는 이머시브 콘텐츠・미디어는 물론, 가수 윤하의 20주년 기념 콘서트 <스물>에서 이머시브 사운드 시스템이 활용되었다는 이야기까지 감탄과 놀라움의 향연이다. 과거 소수의 연구 사촌들끼리 머리를 맞대고 꿈꾸던 미래가 현실로 이루어진 지금, ‘이머시브’가 무엇인지 다시 되짚어보기에 적절한 시점이 아닐까 싶어 필자는 본 글을 쓰게 되었다. 이미 포화되어 가는 이머시브 콘텐츠 시장에서 원론적 정의를 다시 세심하게 살펴볼 필요가 있다는 ‘꼰대적 발상’일 수도 있다. 그러나 진정한 이머시브 경험이 무엇이고 또한 어떨 때 가능한 경험인지, 근본적인 이해력을 다진다면, 필자와 독자들의 영역인 오디오 도메인에서 ‘이머시브한 청각 기술’에 대한 다음 발상을 가능케 하는 귀중한 기회가 될 수 있으리라 생각한다.

현재 자주 쓰이는 ‘이머시브 경험’ 혹은 ‘Immersion’이란 용어는 이전 VR 환경에서 주로 사용된 키워드 ‘Being there(=거기 있는 것 같은)’과는 사뭇 구별되는 경험이다. ‘Being there’이 가상 공간과 현실 공간의 물리적 유사성을 나타내는 현장감(presence)을 나타내기 위한 개념이라면, 이머시브 경험은 ‘몰입’이라는 우리말과 그 특징을 공유한다. 현장감, 몰입감, 그리고 이머시브 경험은 시각과 청각을 포함한 여러 감각 기관을 통해서 전달되곤 하는데, 최근 기술의 발전에 따라 오감을 모두 자극하여 더 실감나는 경험을 제공하기 위해 3D 극장을 넘어 4D, 5D 극장이 등장하곤 한다. 그야말로 ‘More is better’이라는 말이 위의 현장감, 몰입감, 그리고 이머시브 경험을 대표하는 말이다.

그러나 이머시브 경험은 조금 달라서 항상 ‘More is better’로 귀결되는 것은 아니다. 이는 현장감과 몰입감의 차이가 존재하는 상황에서 발생하는데, 더 많은 감각들을 현실적으로 재현할 때 현장감은 증가하나 몰입감은 떨어지는 경향이 나타날 수도 있다. 반대로 현장감의 부재에도 불구하고 몰입감이 증가할 수도 있다. 그래서 ‘현장감 = 몰입감’은 항상 옳은 말은 아니다. 교회의 아동부 행사나 유치원 재롱잔치에서 눈에 넣어도 아프지 않을 자식의 손짓 발짓을 바삐 카메라에 담는 부모의 모습은 그야말로 초 집중, 초 ’몰입’의 상태와 다름없다. 카메라에 담긴 그 영상은 비록 모노 사운드에 가히 낮은 해상도를 지녔지만, 그 기록만큼 ‘이머시브’한 경험을 심어줄 수 있는 영상은 드물 것이다.

이와 같이 이머시브 경험은 J. H. Murray가 2017년 그의 책[1]에서 기록한 바와 같이, ‘주어진 환경 및 컨텐츠 안으로 들어가는, 그야말로 물 속으로 들어가서 물이 완전히 자신을 감싸는 듯한 경험(the physical experience of being submerged in water)’에 가깝다. 물 속으로 들어갈 때 물 밖의 것들에 신경쓸 수 없는 것처럼, 주어진 환경에 오롯이 집중하게 되는 경험이다. 그렇기에 이머시브 경험은 시스템이나 환경 혹은 컨텐츠가 주는 감각적 자극 신호의 변화에 따라 달라지기도 하지만 동시에 당사자의 (이전 경험에 기반한 기억 등을 포함하는) 현재 심리 상태에 따라서도 좌우된다. 이러한 개인의 심리 상태가 주는 영향으로 인해 동일한 콘텐츠 및 환경이라고 해도 각 개인의 연결점이 달라지게 되고, 이러한 달라진 연결점이 ‘집중’에 영향을 미치며, 그러한 집중의 차이가 결국에는 몰입에도 영향을 미치게 되면서 이머시브 경험의 질적인 차이에까지 영향을 주게 된다[2]. 그러므로 이머시브 경험은 Agrawal이 2020년 논문[3]에서 기록했던 것처럼 아래 그림과 같은 두 가지 요인의 복합적인 상호 작용을 통해서 일어난다.

이머시브 포텐셜(가능성)은 시스템과 관련된 몰입을, 이머시브 텐던시(경향성)는 (개인의) 심리적 상태와 관련된 몰입을 각각 나타낸다고 볼 수 있다. 스테레오 시스템에서 돌비 애트모스 시스템으로 음악을 감상함으로써 우리는 감상(재생) 시스템이 몰입을 더할 수 있는 잠재적 가능성을 증가시켰다. 그러나 이러한 잠재적 가능성이 모든 사람들에게 증강된 몰입감을 가져올 수 있는지는 개인의 심리적 상태에 따라 상이하기에 미지수인 셈이다. 다시 말하지만 개인의 심리적인 상태는 주어진 콘텐츠/상황에 집중도의 차이를 가져오고 이러한 요소가 몰입 정도에 영향을 미친다.
시각은 주로 정보를 해석하는 용도로 많이 사용되어 왔다. 이러한 정보의 해석을 담당하는 시각 정보가 가지는 이머시브 포텐셜은 개인차를 넘어서는 보편적이라고 할 수 있다.

HD TV와 4K TV의 차이 혹은 일반 극장 화면과 라스베이거스에 설치된 MSG 스피어 공연장, 삼성전자의 마이크로 LED 기술이 집약된 ‘더 월 The Wall’을 사용한 CJ ENM의 버추얼 프로덕션 스테이지[4]의 차이는 누구나 어렵지 않게 이해할 수 있다. 혹은 시각 정보가 받아들일 수 있는 정보량에 비해 디스플레이 기술이 따라오지 못했기에 아직도 시각 정보 기술의 발전이 몰입감에 기여할 포텐셜, 가능성이 많은 것일 수도 있다.

반면 청각 정보는 단순 정보 해석의 기능을 넘어, 보이지 않는 곳의 위험을 감지하는 역할을 해왔고, 자연스럽게 두려움 및 주의와 관련된 뇌의 영역과 연관성을 가지게 되었다[5]. 청각 정보가 사람의 정서에 미치는 영향은 실로 어마어마한 셈이다. 하지만 청각 정보는 전문적으로 활용하지 않는 이상 일상 생활에서 크게 불편함을 느끼지 않는 경우가 많다. 음량이 커지고 혹은 날카로운 소음이 발생한 경우에 있어서 갑자기 감정의 동요가 생기기도 하지만, 이런 경우를 제외하면 청각 정보의 퀄리티의 미세한 차이에 반응을 보이는 경우는 많지 않다. 설령 반응을 보인다고 해도 한때의 의견일 뿐 일관되게 (consistently) 그리고 정확하게 (precisely) 그 퀄리티의 차이를 인지하는 사람은 매우 소수일 뿐이다. 모노에서 스테레오로 변화했을 때 가져오는 청각 자극의 차이는 모두가 이해할 만한 큰 변화였으나 (그랬기에 원래의 소리와 같다는 의미로 스테레오포닉(stereophonic)이라고 부르지 않았을까?), 스테레오가 서라운드로 변화했을 때는 이전의 변화가 가져온 만큼의 유사한 충격을 가져다 주지 못했다. 그리고 이제 이머시브 오디오의 등장에 과연 개인이 느끼는 몰입감의 증가량이 얼마나 될 것인가는 아직 알 수 없는 부분이다. 다시 말해 청각으로 몰입감을 증가시켜 줄 수 있는 포텐셜이 기대보다 크지 않을 수도 있다. 많은 전문 오디오 엔지니어들은 이머시브 오디오를 통해 더 나은 청각 경험이 가능하다고 주장하고 있고 이에 필자도 동의한다. 오해하지 마시기를. 심지어 필자의 카이스트 연구 랩의 이름은 AIRIS(Applied and Innovative Research for ‘IMMERSIVE’ Sound의 약자)이며, 이머시브 사운드를 위한 응용 및 혁신 연구를 하는 랩이다. 그렇기에 이머시브 사운드 혹은 청각적 이머시브 경험을 통해서 더 나은 이머시브 경험이 주어진다는 것은 이미 잘 알고 있고 또 그러한 기술 개발을 위해서 노력하고 있다. 하지만 이러한 이머시브 오디오가 가져오는 혜택이 어느 정도 보편적일 수 있는지, 다시 말해 개인적인 레벨에서 누구나 동의할 수 있는 것인지 그 여부에 관해서는 아직 ‘잘 모른다’라고 솔직하게 말하고자 한다.

이머시브 오디오를 활용하여 제공되는 청각 정보가 가져오는 몰입감은 개인의 심리 상태가 주는 영향에 따라 크게 좌우될 것이라고 필자는 생각한다. 물론 ‘생각’이고 검증되지 않은 나만의 가설이다. 하지만 오랜 기간, 서라운드와 몰입 오디오를 연구하면서 다양한 청취 평가를 했던 경험에서 나오는 가설이기도 하다. 따라서 개인의 성향 및 능력의 차이에 따라 ‘개별화된 이머시브 경험’을 제공해 주는 것이 차후 핵심 연구 주제가 되리라 생각한다. 연구실의 학생 중 하나라도 이 연구를 맡아서 해주기를 바라지만, 아직 아무도 이 연구를 본격적으로 하겠다고 하지 않는 것을 보면 그다지 매력적인 연구는 아닌가 싶기도 하다. 아마도 더 빠른 연구 성과를 낼 수 있는 AI 기술이 대세인 흐름 속, KAIST에서 이와 같은 인문학적 연구를 하려는 학생을 찾는 것은 쉽지 않은 것은 어쩌면 당연한 일일지도 모르겠다.

‘어떠한 개인차가 청각 몰입감에 차이를 가져오는지’에 대한 연구를 지난 몇 년간 진행해온 바, 기회가 된다면 다음에 그와 관련된 글을 기고하고 싶다. 그 전, 더 큰 가능성과 발전을 앞두고 있는 이머시브 시장에서 ‘기술이 아닌 사람을 보자’라는 인문학적 관점이 필요한 시점임을 느껴 위와 같은 글을 쓴다. 이머시브 포텐셜 도메인에서 몰입에 대한 해결책을 찾기 어렵다면 아마 이머시브 텐던시 도메인이 그 대안이 될지도 모를 일이다. 결국 다시 사람이다.

[1] J. H. Murray, Hamlet on the Holodeck: The Future of Narrative in Cyberspace (MIT Press, 2017).
[2] Thon, J.-N., Immersion Revisited. On the Value of a Contested Concept. In: Amyris Fernandez/Olli Leino/Hanna Wirman (Ed.) Extending Experiences. Structure, Analysis and Design of Computer Game Player Experience. Rovaniemi: Lapland University Press 2008. S. 29-43
[3] S. Agrawal, et al., Defining Immersion: Literature PAPERS Review and Implications for Research on Audiovisual Experiences. J. Audio Eng. Soc., vol. 68, no. 6, pp. 404–417, (2020 June.).
[4] 시네 21, 현실보다 더 현실 같은 배경, 2022-07-19.
[5] 뇌의 왈츠 – 세상에서 가장 아름다운 강박, 다니엘 J 레비튼, 강호연 역 (2008)