'경이로운 도구' 인간의 손, 로봇이 따라잡기 어려운 이유 Human hands are astonishing tools. Here's why robots are struggling to match them
인간의 손은 매일 수천 가지의 복잡한 작업을 수행한다. 인간이 가진 이 특별한 기관을 로봇이 따라잡는 데 AI(인공지능)가 도움을 줄 수 있을까?
우리 몸에서 손은 놀라울 정도로 정교하고 생리학적으로 복잡한 부위다. 손에는 30개가 넘는 근육이 있고, 27개의 관절이 인대 및 힘줄과 네트워크를 이루며 27 자유도(회전이나 방향 이동이 가능한 것의 단위)를 준다. 손바닥만 해도 1만7000개 이상의 촉각 수용체와 신경 말단이 있다. 이를 통해 손은 다양하게 움직이며, 매우 복잡한 작업도 훌륭하게 수행한다.
세계 최초로 AI 기반 생체 팔을 이식받은 여성 Meet the world's first recipient of an AI-powered bionic arm
https://conpaper.tistory.com/113030
edited by kcontents
영국에 사는 사라 드 라가르드는 경험을 통해 이를 충분히 이해할 것이다.
2022년 8월, 드 라가르드는 남편과 함께 킬리만자로 등반에 성공했다. 등반 이후 몸 상태도 매우 좋았다. 하지만 불과 한 달 후, 그는 끔찍한 부상을 입었다.
퇴근길에 런던 하이바넷역에서 미끄러져 플랫폼과 지하철 사이로 떨어졌던 것이다. 당시 그는 역을 출발하는 열차와 역으로 들어오던 열차에 부딪혀 오른팔 어깨 아랫부분과 오른쪽 다리 일부를 잃었다.
오랜 치료를 받은 후, 그는 영국 국가보건서비스가 제공하는 의수를 받았다. 하지만 의수는 생활에 별 도움이 되지 않았다. 기능보다는 모양을 우선시했기 때문이었다.
드 라가르드는 "의수는 진짜 팔 같지 않았다"고 말했다. "아이들도 소름이 끼친다고 하더라고요."
그가 처음 썼던 의수는 팔꿈치에 한 개의 관절이 있었고, 의수 끝에는 손이 덩어리로 고정되어 있었다. 이를 사용하는 9개월 동안 그는 과거 당연하게 여겼던 일상 업무를 수행하기 어려웠다. 하지만 이후 그는 근육의 미세한 전기 신호를 감지해 사용자가 원하는 동작을 AI로 예측하는 '배터리 구동식 생체공학 팔'이라는 획기적인 팔을 받았다.
드 라가르드는 "내가 움직일 때마다, AI는 학습을 한다"고 말했다. "기계는 패턴을 학습하고, 이를 바탕으로 생성형AI가 동작을 예측하기 시작합니다."
펜을 손가락에 끼워 글씨를 쓰는 자세를 취하는 것처럼 간단한 물건을 집는 것조차도 몸과 뇌의 완벽한 통합이 필요하다. 문을 여는 것에서 피아노 연주에 이르기까지 우리가 거의 생각 없이 손으로 하는 작업들은 사실 운동 제어와 감각 피드백의 정교한 조합이다.
손을 쓰는 게 이렇게나 복잡하다보니, 수세기 동안 의학 전문가와 엔지니어들이 인간 손의 다재다능함을 쉽게 모방해내지 못했다. 독일에서 기사를 위해 만든 스프링이 달린 16세기의 초보적인 철제 손부터 1960년대 유고슬라비아에서 개발된 세계 최초의 감각 피드백을 갖춘 로봇 손까지, 그 어느 것도 인간의 손이 자연스럽게 가진 능력에 근접하지 못했다. 이는 아직도 달라지지 않았다.
그런데 최근 AI가 발전하면서, 기계가 인간의 손이 가진 재주에 근접하는 시대가 열리는 듯하다. 드 라가르드의 팔 같은 지능형 기계는 움직임을 예측하고 정교하게 조정한다. 과일 수확 로봇은 밭에서 딸기를 뭉개지지 않게 수확해 바구니에 섬세하게 담는다. 비전 가이드 로봇은 원자로에서 핵 폐기물을 조심스럽게 꺼내기도 한다. 그렇다면 로봇은 인간 손의 놀라운 능력을 따라잡을 수 있을까?
임바디드 AI
나는 최근에 첫 아이를 출산했다. 내 딸은 세상에 나온 지 얼마 지나지 않았을 때부터 그의 작은 손으로 남편의 집게 손가락을 감싸쥐었다. 아기는 눈 앞 몇 인치까지만 볼 수 있기에 아마도 팔과 손은 전반적으로 무의식적 반사 작용으로 움직이지만, 손바닥에 올려진 물체는 잡아냈다. 이는 인간의 손이 얼마나 섬세한 재주를 가졌는지, 심지어 세상에 나온지 얼마 되지 않은 순간에도 얼마나 예민한지를 보여주는 사랑스러운 예시였다. 또한 우리가 성장하면서, 손재주가 얼마나 향상될 수 있는지를 예상할 수 있게 해줬다.
내 딸의 시력은 이내 거리를 지각할 수 있을 정도로 발달할 것이다. 뇌의 운동 피질도 발달해 팔다리를 보다 잘 제어하게 될 것이다. 무의식적으로 물체를 움켜쥐던 행동은 보다 의도적인 행동으로 바뀌고, 손이 두뇌로 신호를 전달해 주변 세계를 느끼고 탐색하면서 움직임을 미세하게 조정할 수 있게 될 것이다. 몇 년의 노력과 시행착오나 놀이가 있으면, 내 딸도 성인들이 가지고 있는 수준의 손재주를 갖게 될 것이다.
아기가 손 사용법을 배우는 것과 비슷하게, 임바디드 AI(로봇 등을 통해서 물리적 실체를 가지고 물리적인 움직임을 행하는 AI)를 활용하는 로봇도 비슷한 과정을 밟으며 성장한다. 이 로봇은 사람들이 있는 환경 속에서 이전 경험을 바탕으로 물리적 작업을 수행하는 방법을 배운다. 환경에 반응하고, 상호작용에 따라 움직임을 미세하게 조정하는 것이다. 이 과정에서 시행착오는 큰 역할을 한다.
플로리다 대학 토목공학과 교수인 에릭 징 두는 "기존의 AI는 정보를 처리하는 반면, 임바디드 AI는 물리적 세계를 인식하고 이해하고 반응한다"고 말했다. "임바디드 AI는 본질적으로 로봇에게 주변 환경을 '보고 느낄 수 있는' 능력을 제공해서 인간과 비슷한 방식으로 행동하게 합니다."
하지만 이 기술은 아직 초기 단계다. 반면 인간의 감각 체계는 매우 복잡하고, 지각은 엄청난 숙련이 필요하다. 때문에 인간의 손과 같은 능력을 재현하는 것은 여전히 매우 어렵다.
두는 "인간의 감각 체계는 미세한 변화를 감지하고 작업 및 환경 변화에 빠르게 적응할 수 있다"고 말했다. "(인간은) 시각과 촉각, 온도 등 입력된 여러 가지 감각을 통합합니다. 현재 로봇은 이러한 수준의 감각 통합 능력이 부족합니다."
하지만 기술은 빠른 속도로 정교해지고 있다. 'DEX-EE 로봇'을 보자. 섀도우 로봇 컴퍼니가 구글 딥마인드와 협력해 개발한 이 로봇은 힘줄형 드라이버로 12 자유도를 구사하는 세 손가락 형태의 로봇 손이다. "기능 연구"를 위해 만들어진 로봇으로, DEX-EE 개발팀은 이를 활용해 물리적 상호작용이 학습 및 일반화된 지능 발달에 어떻게 기여하는지를 살펴보고 있다.
이 로봇의 세 손가락 끝에는 센서가 장착되어 있다. 주변 환경에 대한 실시간 3차원 데이터와 함께 위치, 힘, 관성에 관한 정보를 제공하는 센서다. 이 로봇은 달걀이나 바람을 불어넣은 풍선 등 섬세한 물체를 손상 없이 다루고 조작한다. 심지어 외부의 간섭이나 예측할 수 없는 상황에 대응해야만 가능한 악수하는 법도 익혔다. 다만 현재 DEX-EE는 연구용 로봇일 뿐, 사람과 상호 작용하는 실제 업무 상황에 배치되지는 않았다.
오늘날에는 로봇은 직장과 가정에서 사람들과 일하는 사례가 점점 더 늘고 있다. 때문에 우리는 로봇이 이러한 기능을 어떻게 수행하는지를 이해해야 한다. 예컨대 고령의 환자를 침대로 옮기는 로봇은 환자를 잡는 강도를 어떻게 파악하는 것일까?
독일 프라운호퍼 IFF 연구소에서 진행했던 연구가 하나 있다. 연구팀은 간단한 로봇이 실험 참가자들의 팔을 총 1만9000회 "때리도록" 만들었다. 잠재적으로 고통스러운 힘과 편안한 힘의 차이를 알고리즘이 학습할 수 있도록 하기 위해서었다. 이와 비슷한 연구는 각처에서 여전히 진행중이지만, 일부 손재주가 뛰어난 로봇들은 이미 현실에서 활약중이다.
로봇의 부상
오래전부터 로봇 공학자들은 사람들이 기피하거나 위험하고 반복적인 작업을 대신할 수 있는 오토마타(인간처럼 움직일 수 있을 만큼 자동화된 기계)를 꿈꿔왔다. 에너지 분야에서 핵 폐기물을 처리할 수 있을 정도로 고도로 발전된 AI 제어 로봇 개발 프로젝트를 진행중인 버밍엄 대학의 로봇공학 교수인 루스탐 스톨킨이 한 예다. 핵 폐기물 처리는 일반적으로 원격 제어 로봇을 사용한다. 하지만 스톨킨은 사람이 들어가기에는 너무 위험한 곳까지 갈 수 있는 비전 가이드 자율 주행 로봇을 개발중이다.
안드로이드(인간의 모습을 한 로봇)의 가장 잘 알려진 예는 아마도 2013년 운동 능력으로 전 세계를 사로잡았던 보스턴 다이나믹스의 휴머노이드 로봇 '아틀라스'일 것이다. 2024년 말에 공개된 가장 최신 버전의 아틀라스는 컴퓨터 시야에 강화 학습(피드백을 통해서 AI 시스템이 더 잘할 수 있도록 도와주는 방식)이라고 알려진 AI를 결합했다. 보스톤 다이나믹스에 따르면, 이를 통해 로봇은 선반에 물건을 포장하거나 정리하는 것과 같은 복잡한 작업을 수행할 수 있다.
기존에 인간이 주도하던 분야중 아틀라스 같은 로봇이 활약할 것으로 기대되는 제조와 건설, 의료 등에서 로봇의 활동 영역이 넓어지려면 기술적으로 극복해야 하는 과제들이 있다.
두는 "이 분야에서 손으로 하는 움직임 대부분은 정밀해야 할 뿐만 아니라 불규칙한 물체 모양, 다양한 질감, 동적인 환경 조건과 같은 예측할 수 없는 변수에 대해 적응하며 반응해야 한다"고 말했다.
두의 연구팀은 임바디드 AI를 사용해 실제 세계와 상호 작용하며 운동 기술을 학습하는 고도의 손재주를 가진 건설 로봇을 연구중이다.
현재 대부분의 로봇은 움직임과 관련해 한 번에 한 가지씩만 학습한다. 때문에 새롭거나 예측할 수 없는 상황에 적응하는 데는 어려움을 겪는다. 로봇의 활용도가 제한적인 것은 이 때문이다. 하지만 두는 "최근에 나온 발전들은 궁극적으로 로봇이 사전에 특정한 훈련을 받지 않아도 다양한 작업을 처리하는 적응력과 기술을 익힐 수 있다는 가능성을 보여준다"고 말했다.
2024년 말, 테슬라는 자체 제작한 휴머노이드 로봇 '옵티머스'에 새로운 손을 부착했다. 그리고 로봇이 공중에서 테니스 공을 잡는 영상을 공개했다. 하지만 이 로봇을 개발한 엔지니어에 따르면, 이는 자율 작동이 아니라 원격 수동 제어로 작동한 것이었다. 그들은 또 이 로봇의 손이 25 자유도를 가지고 있다고 주장했다.
인간의 손과 팔을 기계로 재현하려고 하는 연구자들도 있지만, 다른 접근법을 택한 이들도 있다. 케임브리지에 본사를 둔 로봇 공학 회사인 도그투스 테크놀로지는 고도의 손재주를 가진 팔과 정밀한 집게로 딸기 같은 과일을 인간과 같은 속도로 따고 포장할 수 있는 농작물 수확 로봇을 개발했다.
과일 따는 로봇 아이디어는 공동 창립자이자 최고 경영자인 던칸 로버트손이 모로코의 한 해변에서 떠올린 것이다. 머신 러닝과 컴퓨터 비전에 대한 배경 지식이 있던 로버트슨은 자신의 기술을 활용해 쓰레기를 식별, 분류, 제거할 수 있는 저비용 로봇을 만들어 해변 쓰레기 청소에 기여하고 싶었다. 이후 집으로 돌아온 그는 이 논리를 섬세한 손길이 필요한 과일 농사에 적용했다.
그가 도그투스 연구팀과 함께 개발한 로봇은 머신러닝 모델을 사용하여 인간이 본능적으로 가지고 있는 몇 가지 기술을 구현한다. 로봇의 두 팔에는 각각 눈처럼 생긴 두 개의 컬러 카메라가 달려 있어 열매의 익은 정도를 파악한다. 그리고 팔 끝단에 있는 "이펙터" 또는 과일 파지 장치와 과일 간의 거리를 판단한다.
로봇은 식물에서 잘 익은 과일이 어디에 있는지 파악한 뒤, 일련의 움직임 순서를 정한다. 과일 수확용 로봇 팔을 과일 나무 줄기로 이동시켜, 과일을 따기 위해 정밀한 작업 경로를 만드는 것이다.
7 자유도를 가진 도그투스의 로봇 팔은 식물에 남아 있는 다른 열매를 손상시키지 않고 각 열매에 도달할 수 있는 최적의 각도를 찾아낼 정도로 원활한 움직임을 자랑한다. 그런 다음 집게 장치가 열매의 줄기를 부드럽게 잡고, 검사 장치를 통과시킨 후 조심스럽게 딸기를 바구니에 넣는다. 옥티니온이 개발한 또 다른 딸기 수확 시스템 역시 부드러운 집계를 사용하여 과일을 식물에서 바구니로 옮길 수 있다고 한다.
많은 사람들이 딸기를 망가뜨리지 않고 수확하는 데 얼마나 많은 힘이 필요한지 본능적으로 안다. 하지만 로봇이 이 같은 재주를 갖추기까지는 수십 년에 걸친 연구와 개발이 필요했다. 로버츠는 자신이 만든 로봇이 인간을 대체하는 것이 아니라, 사람과 기계가 함께 수확함으로써 농업계가 직면한 노동력 부족 문제 해결에 도움이 될 것이라고 했다.
MIT 전기공학 및 컴퓨터과학과 교수인 풀킷 아그라왈도 현재 인간이 수행하는 섬세한 작업을 처리할 수 있는 로봇은 여러 산업 분야에 중요한 활력을 불어넣을 수 있다고 말했다.
아그라왈은 "미국 제조업에서만 200만 명 이상의 노동력 부족이 발생할 것이라는 추산이 있다"고 말했다. 그 역시 물체를 조작할 수 있는 기계를 개발중이다. "산업에 응용하는 것과 수색 및 구조, 우주 탐사, 고령화 인구 지원 등 AI 기반 로봇공학의 영향력은 챗GPT보다 훨씬 더 큰 변혁을 가져올 것입니다."
하지만 사람의 손은 하루 동안 수천 가지의 다양한 작업을 수행한다. 동시에 다양한 모양, 크기, 재료를 다룰 수 있도록 적응을 한다. 때문에 로봇 공학은 이와 경쟁할 방법을 찾아야 한다. 최근 5000달러 미만의 오픈소스 부품을 사용한 한 로봇 손 테스트에서, 로봇 손은 공중에 있는 물체의 방향을 바꾸도록 학습할 수 있었다. 하지만 오리 모양의 고무 장난감 같은 까다로운 물체를 만나자, 더듬거리며 약 56%의 사례에서 장난감을 떨어뜨렸다.
예측하는 보철 장치
로봇이 궁극적으로 유용하게 쓰일 수 있는 분야는 아마도 사고나 질병으로 상실된 인간의 손을 대신하는 보철 분야일 것이다. 사라 드 라가르드가 받은 선구적인 전기 신호 감지 의수는 이 분야의 미래를 보여주는 한 예다.
여러 소프트웨어 및 하드웨어 회사의 협업으로 탄생한 드 라가르드의 팔은 전기 패턴 인식 또는 신경학적 의도 해석을 활용한다. 손의 움직임을 학습하고 과거 행동을 기반으로 의도를 예측하는 머신 러닝의 한 형태다. 이 기술 덕에 드 라가르드는 보다 원하는 대로 손을 움직일 수 있게 되었다.
이 의수를 구동시키는 AI 알고리즘을 개발한 코앱트의 최고 경영자 블레어 록은 "사라의 의수에 내장된 하드웨어는 특정 동작이 이루어질 때 피부 표면에 발생하는 근육 신호를 기록한다"고 말했다. 그리고 하드웨어는 이 신호를 해석해 드 라가르드가 손으로 어떤 동작을 하려고 하는지를 추측한다. 록은 "패턴 인식 모델은 추측된 동작의 강도와 속도 등을 감지할 수 있다"며 "25밀리초 이내에 명령을 실행할 수 있다"고 말했다.
드 라가르드는 이 과정을 버튼을 눌러 아바타에게 특정 반응을 시키는 비디오 게임 컨트롤러에 비유했다. 처음 그가 장비를 사용했을 때는 어깨 근육을 움직이는 것에 모든 생각이 집중돼, 멀티태스킹이 어려웠다. 하지만 결국 AI 알고리즘은 사용자의 의도를 예측하는 데 능숙해졌고, 이제 그는 좀 더 수월하게 멀티태스킹을 하게 되었다.
드 라가르드는 "달걀을 깨뜨리지 않을 정도로 가볍게 잡게끔 (의수에) 지시할 수 있다"고 말했다. "동시에 실제로 콜라 캔을 부술 수 있을 정도로 강한 힘을 주게 만들 수도 있습니다."
AI는 그의 팔과 연결된 앱에 통합되어, 이전의 사용 경험을 바탕으로 팔을 보다 최적으로 사용하는 방법을 제안하기도 한다. 그럼에도 드 라가르드는 의수가 크게 개선되었지만, 원래 팔에 비할 바는 아니라고 말했다. 일단 장비 자체가 무겁고, 여름철 장비를 착용하면 땀이 많이 난다. 하루에 한 번씩 충전도 해야 하고, 기능적으로 극복해야 할 장애물도 아직 남아 있다.
의수의 촉각 피드백 메커니즘은 아직 초보적인 수준이라, 드 라가르드는 물건을 다룰 때 대부분 시각에 의존한다. 그는 주기적으로 물건을 들고 있다는 사실을 잊어버리는 터라, 잡는 동작을 풀어서 물건을 떨어뜨리기도 한다.
반면 사람의 손은 손가락과 손바닥에 있는 감각 수용망을 통해 물건의 위치를 파악한다. 또 물건을 들기 위해 얼마나 세게 잡아야 하는지 결정하고, 마찰 변화 등을 감지한다.
임바디드 AI 덕에 더욱 정교한 로봇과 보철 장비가 나오고 있는 것은 사실이다. 하지만 아직 이 기술이 인체의 놀라운 기능과 완전히 일치하는 것은 아니다. 이를 대체하기까지 아직 갈 길이 멀다. 아그라왈은 "지난 몇 년 동안 상당한 진전을 이루었고 인간과 같은 손재주가 가능해 보이지만, 최소 5년은 더 걸릴 것 같다"고 말했다.
두는 로봇의 성능이 향상되더라도 고려해야 다른 요소들이 있다고 말했다. "안전이 가장 중요합니다. 로봇이 사용자 인간에게 해를 끼치지 않고 작동하게 만드는 물리적 안전과 오작동 및 의도치 않은 동작을 방지하기 위해 AI 알고리즘에 강력한 안전장치를 만드는 시스템 안전 등이 필요합니다." 두는 또 일자리에 미치는 영향과 같은 윤리적 고려도 필요하다고 했다.
드 라가르드는 로봇 손의 성능이 향상되면서 물잔 따르기, 두 팔로 아이 안아주기 같은 간단하지만 사고로 상실했다고 생각했던 능력을 되찾을 수 있었다.
드 라가르드에게 로봇 기술이 향후 어떤 방향으로 발전하기를 원하는지 물었다. 그는 로봇 신체 증강 기술이 지체 장애를 가진 사람들에게만 국한되는 것이 아니라, 노인들이 활동성을 유지하는 데에도 도움을 주는 미래를 말했다.
물로 드 라가르드가 임바디드 AI의 홍보대사를 자처한 것은 아니었지만, 이를 기꺼이 수용하는 그의 모습에서 이 기술의 가능성을 엿볼 수 있었다.
클라우디아 백스터 BBC
Human hands are astonishing tools. Here's why robots are struggling to match them
https://www.bbc.com/future/article/20250121-why-hands-are-one-of-the-biggest-challenges-in-robotics
