-
[SOVIS / 김도환, 박가람, 김성진] SoundVisualizer - 소리를 눈으로 보다
Sound Visualizer는 컴퓨터의 시스템 오디오를 실시간으로 캡처하여 방향·크기·의미를 그래픽 오버레이로 변환하는 데스크톱 애플리케이션입니다. 단순한 파형 시각화를 넘어, AI 사운드 분류기를 내장하여 현재 재생 중인 소리의 종류(배경음, 대화음, 위협음 등)를 실시간으로 인지하고 피드백을 제공합니다. 청각장애인의 미디어 접근성 향상 유튜브, OTT, 게임 등 현대 미디어 콘텐츠의 입체적인 공간 음향 기술은 놀라운 몰입감을 제공하지만, 청각장애인에게는 오히려 심각한 진입 장벽이 됩니다. 기존의 자막 시스템은 단순 대사 전달에 그쳐, 소리의 발생 방향이나 발소리, 총소리 등의 위급한 효과음 정보를 제공하지 못합니다. 본 프로젝트는 보이지 않는 소리의 방향·크기·의미를 시각화하여 이러한 정보의 불균형을 해소하고 모두가 평등하게 미디어를 즐길 수 있는 환경을 제공하는 것을 최우선 목표로 기획되었습니다. 모두를 위한 활용성 확장 이러한 시각화 오버레이 기술은 비장애인 사용자들에게도 공공장소나 무음 환경 등 청각적 제약이 있는 상황에서의 해결책으로 작용하거나, 게이머들에게도 치열한 경쟁 게임 환경에서 추가적인 시각 지표(상황 인지력)를 제공합니다. 1. 다양한 공간 및 강도 시각화 모드 소리의 크기와 방향(2.0, 5.1, 7.1 채널)을 직관적으로 표현하는 4가지 표현 모드를 제공합니다. 파도 모드 (Wave): 화면의 가장자리를 따라 소리의 강도에 비례해 요동치는 파도를 렌더링합니다. 원형 모드 (Circle): 화면 중앙을 기점으로 바깥쪽으로 퍼져나가는 원형 파동을 렌더링합니다. 패드 모드 (Pad): 지정된 공간 그리드(방향)에 고정된 패드 형태로 소리를 표현합니다. 외곽선 모드 (Outline): 파도 모드를 기반으로, 그것의 상한 외곽선 테두리만 표현하여 화면 가림을 최소화합니다. 2. 온스크린 실시간 제어 및 에디터 전체 화면 게임을 내리지 않고도 오버레이 상태에서 즉각적인 수정이 가능합니다. 단축키: 사운드 모드 및 시각화 모드 실시간 변경. 핫키는 변경 가능합니다. 에디터 모드: 화면에 나타나는 가이드라인 경계를 직접 드래그하여 시각화 영역의 크기와 한계를 자유롭게 리사이징합니다. 색상, 투명도, AI 감지 민감도 등 모든 설정 또한 패널에서 조정 가능합니다. 3. 하드웨어 인식 7.1 다중 채널 지원 시스템의 오디오 채널 구성(Stereo, 5.1, 7.1 Surround)을 자동 인식하고, 소리의 발생 방향(각 채널)을 정확하게 매핑하여 입체적인 시각 효과를 렌더링합니다. 4. AI 실시간 사운드 분류 3-Class 분류 체계: 모든 소리를 Ambient(환경음), Speech(대화음), Danger(위협음) 3가지로 분석하여 카테고리별로 지정된 UI 색상과 투명도로 동적 시각 피드백을 제공합니다. 색상과 투명도는 커스터마이징이 가능합니다. Gunshot Booster: 게임 및 영상 내의 총소리를 놓치지 않도록 특수 학습된 부스터 모델이 가동되어 위협음 탐지 민감도를 향상합니다. 5. 글로벌 다국어 지원 한국어, 영어, 일본어, 중국어, 스페인어, 프랑스어, 독일어, 러시아어 등 8개 국어를 지원합니다. 웹 프로토타입은 SoundVisualizer를 체험할 수 있도록 구현한 웹 사이트입니다. ▶ 프로토타입 https://soundvisualizer-sovis.netlify.app/ ▶ 유튜브 시연 영상 https://youtu.be/MBhCVfGFkgQ
-
💬 댓글이 아직 없습니다.