가상현실 경험을 대중적으로 즐길 수 있는 날이 그리 멀지 않은 요즘이다. 참으로 역사가 깊은 가상현실 기술이지만 헤드 마운트 디스플레이(HMD) 기기가 본격적으로 관심과 투자를 받기 시작한지는 얼마 되지 않았다. 예를 들어 오큘러스 리프트(Oculus Rift)라는 기기를 착용하면 컴퓨터 그래픽으로 제작되거나 360도 카메라로 촬영된 가상현실 세계로 뛰어들 수 있다. 수많은 게이머들이 꿈꿔왔던 ‘게임 속 세계로 직접 들어가는 것’이 가능해졌으며 그들은 진정 몰입적(Immersive)인 경험을 기대 중이다.
퓨디파이(PewDiePie)의 오큘러스 리프트 게임 체험 영상
몰입적인 경험은 시각과 청각만 충분히 입체적으로 재현되어도 생생하게 다가올 수 있다. 인간의 오감을 모두 커버할 수 있다면 가장 좋겠지만 현재로서는 시각을 위한 헤드 마운트 디스플레이와 청각을 위한 3D 오디오가 많이 활용되고 있다. 여기에서 ‘3D 오디오’라는 것은 가상으로 입체적 사운드 효과를 제작하는 방법으로, 버추얼 3D 오디오에 가깝다. 게임이나 영화의 사운드를 제작하는 사람이 가상의 입체 효과를 더한 것이다. 그렇다면 버추얼 3D 오디오가 아니라 리얼 3D 오디오를 체험하는 방법도 있지 않을까? 소리를 3D로 녹음하고 3D로 재생하면 된다.
바이노럴 레코딩(Binaural Recording)은 상당히 낯선 단어지만, 몰입적인 경험을 구현하기 위한 기술로써 모바일 오디오 시장에서 화두가 되고 있다. 바이노럴 레코딩은 소리를 기록할 때 일반 마이크 대신 사람의 머리에 있는 2개의 귀를 그대로 재현한 더미헤드 마이크를 사용한다. 쉽게 말하면 음악을 듣는 사람 대신 더미헤드 마이크를 놓고 그 주변에서 연주를 하는 것이다. 이 녹음 파일을 3D로 재생하면 더미헤드 마이크가 있던 그 위치에서 듣는 경험을 그대로 전달 받을 수 있다.
https://www.youtube.com/watch?v=GTdejuywSos
위의 비디오는 조본(Jawbone)이 협력 중인 쓰리디오(3Dio)의 바이노럴 레코딩 및 재생을 시연한다. 헤드폰을 착용하고 들어보기 바란다. 영상 중간 즈음에서 가수가 마네킹 머리처럼 생긴 더미헤드 마이크 옆에서 노래하는 모습이 보인다. 가수가 오른쪽으로 움직이는데 이 때 청취자는 실제로 소리가 오른쪽으로 움직이며 어디까지 움직였는지 알 수 있게 된다. 즉, ‘위치의 감각’을 구현한 것이다. 조본은 이 기술을 ‘라이브 오디오(Live Audio)’라는 명칭으로 블루투스 스피커 제품에 적용했다. 바이노럴 레코딩과 동일한 기법을 적용해서 어떤 음악이든 입체적으로 듣게 해주는데, 스피커의 정면에 앉아서 들어보면 음악 속의 악기들이 각자 어느 위치에 있는지 감지할 수 있다.
블루투스 스피커를 쓰는 사람치고 책상 앞에 각잡고 앉아서 음악에 집중하는 경우가 있을까? 보통은 아무 곳이나 편한 장소에 스피커를 두고 배경 음악 감상용으로 쓸 것이다. 그래서인지 조본이 차별점으로 채택한 라이브 오디오 기술은 소비자들에게 그리 큰 영향을 주지는 못하고 있다. 그러나 한 가지 확실한 점은 있다. 바이노럴 레코딩, 더 쉽게 말해서 ‘3D 레코딩’ 기법은 3D 재생 기술과 만나게 되고, 플레이어를 휴대하면서 듣는 모바일 오디오(Mobile Audio) 환경에서는 매우 강력한 몰입적 엔터테인먼트가 된다는 사실이다.
위의 영상을 헤드폰으로 감상해보자. 지하철역에서 3인조 밴드가 노래하는 장면을 스마트폰으로 녹화한 것이다. 그런데 이 영상의 소리를 들어보면 스테레오가 아니라 모든 방향을 감지할 수 있는 3D 레코딩임을 알 수 있다. 영상을 녹화한 사람이 후크(Hooke)라는 이어폰을 착용하고 있었기 때문이다.
후크는 킥스타터 펀딩의 성공 후 생산 준비 단계에 들어간 제품이다. 겉으로 보기에는 스포츠 타입의 블루투스 이어폰처럼 보이지만 후크는 소리의 재생 뿐만 아니라 녹음도 할 수 있도록 스피커(BA 유닛)와 마이크를 모두 탑재하고 있다. 게다가 3D로 녹음을 하고 3D로 재생할 수 있는 이어폰이기도 하다.
앞서 감상한 조본과 쓰리디오의 3D 레코딩 데모를 떠올려보자. 후크는 착용한 사람을 더미헤드 마이크로 만들어주는 셈이다. 후크를 착용한 상태에서 스마트폰으로 비디오 녹화를 시작하면 그 사람을 기준으로 모든 방향의 소리가 녹음된다. 이렇게 녹음된 소리를 다른 사람이 후크로 감상한다면 그는 3인조 밴드가 노래 중인 지하철역에 있는 듯한 몰입적 경험을 할 수 있다. 적어도 청각적으로는 그렇다.
사실 후크에 들어가는 기술은 새로운 것이 아니다. 중요한 점은 후크가 3D 레코딩을 모바일 환경으로 들여놓았다는 것이다. 누구나 스마트폰을 사용한다면 비디오 녹화를 하면서 3D 레코딩을 병행할 수 있게 된다. 편리한 블루투스 이어폰 디자인이기 때문에 자신이 3D로 소리를 기록하고 싶을 때 즉시 기록할 수 있다. 또, 3D 오디오가 담긴 영상을 트위터, 페이스북, 인스타그램 등의 소셜 미디어로 공유함으로써 그 즐거움을 친구들에게 전파한다. 음악 감상 분야에서는 뮤지션들이 3D 레코딩을 해야 하기 때문에 아직도 3D 오디오 음원을 찾기가 어렵지만, 후크처럼 개인이 직접 자신의 삶을 기록할 때 3D로 녹음하고 3D로 재생할 수 있게 해주는 이어폰이 있다면 이 또한 색다른 소셜 엔터테인먼트(Social Entertainment)로 활용될 수 있다. 또한 직접 촬영한 영상으로 현장 보도를 할 때에도 생생한 현장감을 전달할 수 있으니 저널리즘에도 도움이 될 것이다.
*참고 링크
조본 라이브 오디오 : https://jawbone.com/liveaudio
후크 : https://www.hookeaudio.com/
3Dio : http://3diosound.com/
