세계 최초 디지털 아바타 통해 '말'을 할 수 있게된 마비 여성 Paralysed woman able to ‘speak’ through digital avatar in world first
캘리포니아 대학교 샌프란시스코(UCSF)
종이처럼 얇은 직사각형 환자의 뇌 표면에 이식
최신 기술은 뇌 표면에 작은 전극을 사용하고 눈 추적에 의존하는 합성기보다 빨랐다
심하게 마비된 한 여성은 자신의 뇌 신호를 말과 얼굴 표정으로 변환하는 기술을 사용하여 아바타를 통해 말할 수 있었다.
이 발전은 뇌-컴퓨터-인터페이스(BCI)가 뇌졸중과 근위축성 측삭경화증(ALS)과 같은 상태로 인해 말을 할 수 있는 능력을 잃은 사람들의 삶을 변화시킬 수 있다는 희망을 불러일으켰다.
지금까지, 환자들은 자연스러운 대화를 불가능하게 만들면서, 눈 추적이나 작은 얼굴 움직임을 사용하여 단어를 철자하는 것을 포함하는 좌절할 정도로 느린 음성 합성기에 의존해야 했다.
이 최신 기술은 말과 얼굴의 움직임을 조절하는 뇌의 부분에서 전기적인 활동을 감지하기 위해 뇌의 표면에 이식된 작은 전극을 사용했다. 이 신호들은 디지털 아바타의 말과 미소, 인상, 놀라움을 포함한 얼굴 표정으로 바로 변환된다.
"우리의 목표는 다른 사람들과 대화하는 가장 자연스러운 방법인 완전하고 구체화된 의사소통 방법을 복원하는 것입니다."라고 캘리포니아 대학교 샌프란시스코(UCSF)에서 연구를 이끈 에드워드 창 교수가 말했다. "이러한 발전은 우리가 이것을 환자들을 위한 진정한 해결책으로 만드는 데 훨씬 더 가까워지게 되었습니다
47세의 여성 앤은 18년 이상 전 뇌간 뇌졸중을 앓은 이후 심각한 마비를 겪고 있었다. 그녀는 말을 하거나 타자를 칠 수 없으며 1분에 최대 14단어로 천천히 글자를 선택할 수 있는 움직임 추적 기술을 사용하여 정상적으로 의사소통을 했다. 그녀는 아바타 기술이 미래에 그녀가 상담가로 일할 수 있게 해주기를 희망했다.
연구팀은 253개의 전극으로 이루어진 종이처럼 얇은 직사각형을 앤의 뇌 표면에 이식했다. 이 전극들은 뇌 신호를 차단했다. 뇌 신호는 뇌졸중이 아니었다면, 그녀의 혀, 턱, 후두, 그리고 얼굴의 근육을 조절했을 것이다.
헤더 렌둘릭은 2012년 뇌졸중에 이어 왼손의 기능을 잃은 후 목에 이식된 전극의 도움을 받아 나이프와 포크를 사용했다.
이식 후, 앤은 다른 문구를 반복적으로 반복함으로써 다양한 음성에 대한 그녀의 독특한 뇌 신호를 감지하는 시스템의 AI 알고리즘을 훈련시키기 위해 그 팀과 함께 일했다.
인도 찬드라얀 3호: 달 남극 근처 최초 역사적인 착륙 성공 VIDEO: Chandrayaan-3: India makes historic landing near Moon's south pole
인도 찬드라얀 3호: 달 남극 근처 최초 역사적인 착륙 성공 VIDEO: Chandrayaan-3: India makes historic landing
러시아 루나-25는 달착륙 실패 인도는 달 탐사 임무가 달 남극 지역에 처음으로 착륙함으로써 역사를 만들었다. 이것으로, 인도는 미국, 구소련, 중국에 이어 달에 연착륙하기 위해 엘리트 국가
conpaper.tistory.com
컴퓨터는 39개의 독특한 소리를 배웠고 채팅 GPT 스타일의 언어 모델을 사용하여 신호를 이해할 수 있는 문장으로 번역했다. 그리고 이것은 그녀의 결혼식에서 그녀가 말하는 녹음을 기반으로 부상 전 앤의 목소리처럼 개인화된 목소리를 가진 아바타를 제어하는 데 사용되었다.
이 기술은 완벽하지 않았다. 500개 이상의 구문이 포함된 테스트 실행에서 28%의 시간 동안 단어를 잘못 디코딩했으며, 일반적으로 자연스러운 대화에서 사용되는 110-150개의 단어와 비교하여 분당 78개의 단어의 비율로 뇌에서 텍스트로 생성했다.
하지만, 과학자들은 최근의 정확성, 속도, 정교함의 발전은 이 기술이 이제 환자들에게 실질적으로 유용한 시점에 이르렀음을 시사한다고 말했다.
이 연구에 참여하지 않은 네덜란드 위트레흐트 대학의 신경과학자 닉 램지 교수는 "이것은 이전의 결과들보다 상당히 뛰어납니다. 우리는 전환점에 있습니다."라고 말했다
중요한 다음 단계는 두개골 아래에 이식될 수 있는 BCI의 무선 버전을 만드는 것이다.
"이 기술로 사람들에게 자신의 컴퓨터와 전화기를 자유롭게 제어할 수 있는 능력을 주는 것은 그들의 독립성과 사회적 상호작용에 지대한 영향을 미칠 것입니다," 라고 UCSF의 신경외과 조교수이자 이 연구의 공동저자인 데이비드 모세 박사가 말했다.
결과는 Nature(페이월)에 게시됐다.
황기철 콘페이퍼 에디터 국토부 인플루언서
Ki Chul Hwang Conpaper editor influencer
Paralysed woman able to ‘speak’ through digital avatar in world first
(Source: theguardian.com/society/2023/aug/23/paralysed-woman-able-to-speak-through-digital-avatar-for-first-time)
kcontents
