무대음향협회 Stage Sound Magazine에 두 번째 투고를 하게 되었다. 신문에도 칼럼을 이어서 쓰고는 있지만, 무엇인가를 쓴다는 것은 쉽지 않은 일이다. 일단 생각이 활자로 인쇄되고 나면, 작든 크든 항상 그 무게를 버티고 살아가야 한다.
2004년 오디오 공학 학회 (Audio Engineering Society, AES)에서 처음으로 발표했던 논문에 대해서 20년이 지난 지금도 가끔씩 문의가 온다. 정작 제1 저자였던 나는 그때 내가 썼던 글을 보면서 ‘내가 이런 식으로 글을 썼었나?’ 하고 되물으며 그 질문에 답하기 위해 논문 내용을 다시 자기 검증해야 한다. 글을 쓰는 것보다도 글이 남는다는 것이 항상 무겁게 느껴진다. 그래서 많은 생각이 있지만, 그 생각을 글로 남기는 것이 쉽지는 않다.
그럼에도 불구하고 이제 공부한 내용 혹은 경험한 내용들을 정리해서 다음 세대에게 혹은 같은 업을 함께하는 동료들에게 전달하는 일도 중요하다고 생각되어 요즘에는 원고에 대한 의뢰가 들어오면 가능한 그동안의 경험을 바탕으로 글을 정리하려고 노력하고 있다. 이번엔 어떤 글이 동료들과 다음 세대에 도움이 될까 하며 여러 생각을 하다가, ‘데이터와 데모의 전쟁’이라는 약간 도발적인 타이틀을 생각했었다. 그런데 전쟁이라는 단어는 신문에서나 쓸 법한 독자 시선 끌기용 같다는 생각에 조금 순화해서 그냥 ‘데이터와 데모’라고 하기로 했다.
데이터는 오디오 및 음향을 물리학적 입장에서 접근해서 해석하는 그룹을, 데모는 반대로 청취자가 받아들이는 주관적인 해석에 더 중점을 두는 그룹이라고 할 수 있을 것 같다. 이 두 그룹이 어떻게 서로 경쟁하고 또 가끔은 대립하는지를 보여준 것은 나의 박사 지도 교수였던 Dr. William L. Martens였다.
교수님은 이전부터 녹음 및 무대 기술의 세계적인 두 학회인 미국 음향 학회 (Acoustical Society of America, ASA)와 오디오 공학 학회 (AES)에 참석하면서 이러한 경쟁 구도를 흥미롭게 지켜봤고, 학생들과 이에 관한 토론을 자주 했다. 그 토론의 요지는 미국 음향 학회에 참석하는 연구자들은 발표 후 토론에서 ‘데이터는 어땠는지’에 대한 내용이 주를 이루고, 오디오 공학 학회에서의 토론은 대부분 ‘소리는 어땠는지 (데모를 들을 수 있는지)’에 대한 내용이 주를 이루는데, 어떻게 이 부분을 통합적으로 가져갈 수 있을지에 관한 토론이었다.
심리음향학자(psychoacoustician)였던 교수님은 순수 톤(Pure tone)을 사용하는 심리음향 모델들이 보여주는 데이터가 실제 생활에서 어떻게 해석되고, 특히 음악이라는 복잡한 양상을 지니는 음원을 대할 때 이전의 심리음향 모델이 어떻게 작동하는지에 대해 관심이 많았다. 그래서 모델들을 실제 음악 음원을 통해 검증 가능한지에 대한 데모의 중요성을 항상 강조하셨다.
이에 대한 영향으로 나 역시도 데이터를 기반으로 하되, 들어서 납득할 만한 데모가 가능한 모델 개발이 중요하다고 항상 생각하고 연구하고 있다. 물론 세상을 바꾸는 일들은 데이터 기반의 모델링을 통해 항상 개척되어 왔고, 그 중요성을 부인하고자 하는 것은 아니다.
다만 소리를 다루는, 특히 무대에서 공연 사운드를 다루는 우리에게 있어서 가끔은 측정 데이터의 수치에 빠져서 실제 공연의 관객의 느낌을 제대로 살리지 못하는 경우가 있지 않을까 하는 염려가 많다. 특히 건축 음향에 있어서는 데이터와 데모가 일치하지 않는 경우를 많이 본다. 작년 운이 좋게 미국에서 돌아오는 길에 뉴욕 링컨 센터의 하나인 데이비드 게펜 홀 (David Geffen Hall)에서 뉴욕 필의 공연을 볼 수 있는 기회가 있었다. 에버리 피셔 홀이라고도 알려진 이 홀은 뉴욕 필의 홈으로, 수많은 공연으로 뉴요커들에게 클래식 음악의 풍성함을 가져다준 역사적인 공간이다.
그러나 이 홀의 음향은 까다로운 지휘자들과 음악 애호가들의 끊임없는 비난을 받았으며, 여러 번의 리노베이션을 거쳐 현재의 모습까지 오게 되었다. 가장 최근의 리노베이션은 무려 5억 5천만 달러, 우리 돈 약 7천억 원이 들었다고 한다. 3년간의 리노베이션에 7천억이라니 천조국의 스케일에 다시 한번 놀랄 수밖에 없었다.
여기서 흥미로운 점은, 처음 ‘필하모닉 홀 (Philharmonic’s Hall)’이라고 명명되어 만들어진 이 공연장에 음향 데이터를 측정하지 않았을까? 아니다. 그 당시 유명한 많은 건축가들과 음향학자들이 이 홀의 음향을 더욱 좋게 하려고 노력했으며, 원하는 측정값을 내도록 설계하고 공간을 만들었을 것이다. 그러나 홀의 오프닝 공연은 그야말로 참사였다. 뉴욕 타임즈는 1962년 오프닝 공연에 아래와 같은 혹평을 달았다.
“이 홀은 마치 방부제 화학 처리된 것 같은 사운드네요. 저음은 약하고 색채도 없고 가까이 있는 느낌도 없어요. The hall had an antiseptic sound, very weak in the bass, with little color and presence. 연주자들이 불만족스러운 건 당연하죠. 그들은 서로의 연주를 전혀 들을 수 없었어요. The musicians were unhappy. They complained that they could not hear each other very well while playing. 개장 후 첫 주의 공연에서 지휘자들도 이 공연장의 음색에 전혀 만족하지 못했다는 점을 드러냈어요. During the first week of concerts, conductors, as tactfully as possible, indicated that they too were not happy with the tonal quality of the auditorium.” [1]
물론 이후 다양한 연구 끝에, 그리고 천문학적인 자금의 투입 이후에 게펜 홀은 오늘날 안정적인 음향을 지니게 되었다. 명료도(clarity), 발란스(balance), 무대 연주와의 친밀감(intimacy) 등 전반적으로 개선된 음장을 지니게 되었다고 평가받고 있고, 관객들도 만족하는 것으로 나타났다. 그러나 왜 1960년대에는 그렇지 못했을까? 그때 음향 측정 기술이 지금보다 더 떨어졌다고 생각하지는 않는다. 그렇다면 측정의 문제가 아니라, 측정 자체를 너무 신뢰했기 때문은 아니었을까? 물론 이것은 필자의 추측이다.
당시의 상황은 경쟁 공연장이었던 카네기 홀을 흉내 내기 위해 디자인에 정치적 압박이 있었고, 그로 인해 객석 수를 무리하게 늘려 공간의 체적이 충분하지 못해 생긴 결과라는 것이 주된 이유로 알려져 있다. 그러나 그럼에도 불구하고 의문은 계속 남는다. 왜 시뮬레이션과 측정 데이터는 그러한 체적의 감소가 가져다준 필연적인 음향의 감성적 요소를 알아내지 못한 것일까? 그렇다고 하면 현재 시뮬레이션과 측정 데이터를 어느 정도 믿어야 하는 것일까?
데이터의 중요성은 절대 간과되어서는 안 된다. 데이터를 가져다주는 기초 과학의 입장은 음향과 사운드를 이해하는 데 필수적이다. 음대에서 음악으로 학위를 받았지만 그럼에도 불구하고 필자가 공부한 맥길(McGill) 음대 사운드 레코딩 프로그램에서 제일 먼저 공부해야 하는 과목은 음향학 기초(fundamentals of acoustics)였다. 그러나 동시에 공부의 깊이가 더해갈수록 기술적 청취 훈련(Technical Ear Training, TET)이라는 과목에 중점을 둔다. 아니, 엄밀히 말하면 물리적 데이터가 훌륭한 데모로 이어질 수 있는 방법론에 중점을 둔다.
이러한 오래된 데이터와 데모의 통합의 중요성에 관한 논의를 이 시점에 꺼내게 된 이유는 다름 아닌 이머시브 오디오 시장이 본격적으로 시작되었기 때문이다. 갑자기? 이머시브 오디오로 점프를 한다고? 의아해하는 독자들도 많겠지만, 이머시브 오디오야말로 이 데이터와 데모가 첨예하게 대립하고 있는 분야이다.
파동장 합성(Wave field synthesis)과 주면 조화 함수(Spherical harmonics)로 대표되는, 소위 타겟 음장의 물리 법칙을 그대로 기록하고, 또 해당하는 법칙을 스피커 어레이를 통해 재생하겠다는 것이 간단히 말해 이 ‘데이터’ 기반의 이머시브 오디오의 기본 입장이다. 정확한 물리 법칙에 따라 3차원 음장을 재현하면 그 안에 있는 사람들은 목표로 하는 공간의 음장을 실제 그대로 경험할 수 있다고 믿는 것이다. 나는 여기서 ‘믿는’이라는 표현을 썼다.
그 이유는, ‘데모’ 그룹의 입장에서 보면, 지금까지 이러한 데이터 기반의 이머시브 오디오 기술들이 설득력 있는 음장, 즉 내가 마치 다른 공간에 있는 것 같은 느낌을 주지 못했기 때문이다. 물론 특정 공간 음향 기술이 이러한 이론을 바탕으로 구현 가능한 것은 사실이다. 예를 들어, 스피커와 나 사이에 음원을 위치시키는 Near-field sound synthesis 같은 기술은 기존의 채널 기반 시스템으로는 불가능하다. 그러나 이렇게 우수한 기술을 바탕으로 하고 있음에도 불구하고, 아직까지 어떠한 상업용 콘텐츠도 위의 데이터 기반 이머시브 기술을 채택해 성공한 경우는 없다. 적어도 필자가 아는 범위에서는.
이전에 투고한 글에서도 주장했듯, 이머시브 경험에서는 물리적 요소의 기여만큼 심리적 요소도 중요하다. 데모는 다르게 표현하자면 경험의 presence, 즉 공간적 치환의 경험이라고 할 수 있다. 내가 다른 음향 공간을 연속적으로 경험하는가에 대한 뇌의 청각 정보 재구성인 셈이다. 이 재구성에서 음향 정보의 물리적 정확도(precision)가 중요하다.
그러나 그것이 전부는 아니다. 공간 정보의 정확도를 구현하기 위해 거치는 많은 신호 처리 과정이 음색의 정확도를 해치기도 한다. 예를 들어, 피아노의 이머시브 녹음 및 재생의 경우, 피아노 소리가 퍼져나가는 정도는 정확히 구현할 수 있을지 모르나, 이러한 기술이 좋은 피아노 소리 자체를 재현할 수 있는지는 의문이다. 나쁜 피아노 소리를 이머시브로 들어야 할 이유가 있을까? 데이터 기반 접근이 현업의 음향 관계자들에게 받아들여지기 힘든 근본적인 이유가 바로 이것이다.
몇몇 뛰어난 엔지니어와 학계의 노력 덕분에 두 그룹 간의 간격이 좁아지고 있는 듯하다. 그리고 언젠가는 반드시 좁아져야 한다는 것이 필자의 의견이다. 적어도 기존의 녹음 방식과 데이터 기반 방식이 혼용되어, 필요에 따라 원하는 기능을 선택적으로 사용할 수 있는 확장 가능한(scalable) 기술이 미래의 공연과 미디어 제작에 사용되어야 한다고 생각한다.
현재 신호 처리의 기반이 되는 AI를 활용하기 위해서는 더 다양한 특성(feature)들을 담을 수 있는 기법이 효과적일 것이다. 그렇기에 두 그룹 간의 소통과 만남, 그리고 배움의 장이 필요한 시점이다. 무대기술협회와 한국음향학회가 함께 이러한 부분을 소통할 수 있는 장을 기획한다면, 음향학회가 만들어 제시하는 데이터를 무대기술협회의 기술력으로 설득력 있는 데모를 만들어낼 수 있을 것이다. 이렇게 선한 협력이 가능하다면, 이머시브 오디오의 담론을 외국이 아닌 대한민국이 주도할 수도 있을 것이다.
이런 꿈을 한 번 꾸어 본다. 
김성영
카이스트 문화기술대학원 교수
로체스터 공과대학 부교수 (2018-)
로체스터 공과대학 조교수 (2012-2018)
(주)야마하 연구원 (2007-2012)
한국방송공사 엔지니어 (KBS)(1996-2001)