구글 딥마인드, 수어 AI로 접근성 혁신

구글 딥마인드의 수어 AI 혁신

구글 딥마인드는 청각 장애인과 난청 사용자를 위한 새로운 수어 기능을 지원하는 획기적인 모델인 수어-텍스트(SL2T) 번역 모델을 소개했습니다. 지난 수십 년 동안 AI의 음성 언어 처리 능력이 급속히 발전하면서 자동 번역, 받아쓰기, 대화형 인터페이스가 청각 사용자에게 자연스럽게 느껴지게 되었습니다. 그러나 이러한 기술 혁신은 전 세계 200개 이상의 수어와 이를 사용하는 약 7천만 명의 청각 장애인에게는 아직 도달하지 못했습니다. 오늘 우리는 품질과 일반성에서 획기적인 발전을 이룬 다국어 수어-텍스트 번역 모델을 소개합니다. 이 모델은 수어 AI를 연구실에서 소비자 제품으로 처음으로 가져왔습니다. SL2T는 Pixel 11의 Gboard와 Live Transcribe에서 미국 수어(ASL)를 영어로 번역하는 기능을 지원하며, 더 많은 기기와 언어가 곧 추가될 예정입니다.

청각 사용자가 받아쓰기를 통해 타이핑 대신 말할 수 있는 것과 유사하게, 이 기능은 청각 장애 사용자가 일반적으로 타이핑하는 곳 어디서나 휴대폰에 수어를 사용할 수 있게 합니다. 웹 검색, 메시지나 문서 작성, Gemini에게 질문 해결이나 작업 실행을 요청할 수 있습니다. Live Transcribe에서는 대화 중에 타이핑 대신 수어로 응답할 수 있습니다. 테스트에 따르면, ASL로 수어하는 것이 영어로 타이핑하는 것보다 더 빠르고 자연스러우며 즐겁다고 합니다.

수어의 중요성

수어는 전 세계 청각 장애인 공동체의 주요 언어이며, 청각 장애 문화 정체성의 핵심입니다. 청각 장애인은 수어, 음성, 읽기, 쓰기 능력에서 다양성을 보이므로 모든 방식에서 접근성을 지원하는 것이 중요합니다. 청각 장애인은 음성 언어 처리가 청각 사용자에게 이익을 주는 것과 같은 방식으로 수어 처리의 이점을 누릴 수 있으며, 이 기술은 청각 장애인과 청각 사용자 간의 의사소통 격차를 해소할 수 있는 새로운 가능성을 열어줍니다. 그러나 이러한 긍정적인 사회적 영향을 위한 기회에도 불구하고, 수어 AI의 발전은 더디었습니다. 이는 수어를 위한 AI 구축이 복잡한 도전 과제를 제시하고, 수어 자체가 어떻게 작동하는지에 대한 오해가 널리 퍼져 있기 때문입니다.

음성 언어 전사와 비교할 때, 수어 번역은 두 가지 핵심 과제를 제시합니다. 첫째, 음성 전사는 동일한 언어의 소리를 텍스트로 순차적으로 매핑하는 문제인 반면, 수어는 독립적인 자연어로 고유한 문법과 어휘를 가지고 있습니다. 따라서 수어는 단순한 순차적 변환이 아닌 진정한 기계 번역이 필요합니다. 둘째, 모델은 물리적 움직임을 "보고" 이해하는 법을 배워야 합니다. 수어는 손, 팔, 몸통, 머리, 얼굴의 동시 움직임을 통해 의미를 전달합니다. 이러한 움직임을 높은 프레임 속도로 정확하게 추적하는 것은 어렵고 계산적으로 요구가 많은 컴퓨터 비전 작업입니다.

SL2T의 작동 방식

SL2T는 사용자 중심의 문화적으로 정보에 입각한 접근 방식과 대규모 데이터 확장을 결합하여 구축되었습니다. 이 모델은 50개 이상의 수어에 걸쳐 100,000시간 이상의 데이터로 훈련되었으며, 데이터의 약 4분의 1은 ASL입니다. 다양한 언어, 방언, 숙련도 수준에서 공동으로 훈련함으로써 모델은 공유된 기본 구조를 학습하여 단일 언어 모델보다 뛰어난 성능을 발휘합니다.

사용자 프라이버시를 보호하기 위해 SL2T는 수어를 원시 카메라 피드가 아닌 포즈 랜드마크 위치의 시퀀스로 봅니다. 기기 내 모델(MediaPipe Holistic)이 수어 사용자의 포인트 위치를 추적하며, 이러한 기하학적 좌표만 서버로 전송되어 번역됩니다. 이를 통해 원본 비디오는 즉시 폐기될 수 있습니다. SL2T는 이러한 좌표 시퀀스를 직접 텍스트로 번역하여, 수어 번역 작업에서 널리 사용되는 중간 주석인 "글로스"를 우회합니다. 글로스는 비선형적인 수어의 풍부한 측면을 포착하지 못합니다. 랜드마크에서 직접 번역함으로써 인위적인 어휘 제한을 제거하고 번역 품질을 데이터와 함께 직접 확장할 수 있습니다.

커뮤니티와 함께 구축

우리는 청각 장애인 커뮤니티를 위해서만이 아니라, 그들과 함께 구축하는 것을 믿습니다. 청각 장애인의 관점은 이 프로젝트의 모든 단계에서 중요한 역할을 했습니다. 청각 장애인 구글러인 Sam Sepah의 개념화부터 청각 장애인 파트너와의 데이터 수집, 청각 장애인 사용자 연구에서의 평가, 청각 장애인 전문가와의 기술 영향 평가까지. 책임 있는 실제 배포를 안내하기 위해 우리는 AI 수어 자문 위원회(AISLAC)를 설립하여 전 세계 청각 장애인 조직과 주제 전문가들을 모았습니다. 이러한 참여적 거버넌스 모델을 통해 우리의 기술에 가장 큰 영향을 받는 커뮤니티가 직접 개발 우선순위에 영향을 미칩니다.

앞으로의 전망

SL2T는 학계와 산업 전반에 걸친 수십 년간의 기초 연구를 기반으로 하지만, 사용자 휴대폰에 ASL 입력을 제공하는 것은 시작에 불과합니다. 구글의 사명은 세계의 정보를 조직하고 이를 보편적으로 접근 가능하고 유용하게 만드는 것입니다. 보편적 접근성을 달성하기 위해서는 음성 및 문자 언어와의 완전한 동등성을 달성해야 합니다. 우리 팀은 이 기술을 추가적인 수어, 수어 생성, 최첨단 AI 기능으로 확장하기 위해 노력하고 있습니다. 우리는 디지털 환경 전반에 걸쳐 수어를 통한 접근을 표준화하기 위해 우리의 진전을 책임감 있게 공유하기를 기대합니다.

Pixel 11의 Gboard와 Live Transcribe에서 SL2T를 처음 경험할 수 있으며, 곧 더 많은 기기에서 제공될 예정입니다. 이 모든 것은 추가 비용 없이 제공됩니다.