인공지능 장갑 등장 Learning the signatures of the human grasp using a scalable tactile glove/ 브라운대, 처음 본 글씨 필기하는 AI 로봇개발 VIDEO: THIS CRAFTY ROBOT CAN WRITE IN LANGUAGES IT’S NEVER SEEN BEFORE

인공지능 장갑 등장

   인공지능 장갑이 등장했다

기계학습 통해 사람 손처럼 움직여

우리들의 손은 놀라운 기능을 지니고 있다.

특히 놀라운 것은 감각 기능이다. 손에는 감각 뉴런(sensory neurons)이 몰려 있는데 이 뉴런을 통해 크고 작은 자극들을 예민하게 감지해나갈 수 있다.

시각 장애인의 경우 손은 더욱 중요한 역할을 하게 된다. 사물을 만져보는 것은 물론 점자를 해독하고, 정상인들처럼 지식을 습득해가는 매우 중요한 역할을 담당하고 있다. 그리고 최근 과학기술을 통해 이런 손의 기능을 대체할 수 있는 장갑이 개발되고 있다.

Teaser/MIT

Learning the signatures of the human grasp using a scalable tactile glove Abstract Humans can feel, weigh and grasp diverse objects, and simultaneously infer their material properties while applying the right amount of force—a challenging set of tasks for a modern robot1. Mechanoreceptor networks that provide sensory feedback and enable the dexterity of the human grasp2 remain difficult to replicate in robots. Whereas computer-vision-based robot grasping strategies3,4,5 have progressed substantially with the abundance of visual data and emerging machine-learning tools, there are as yet no equivalent sensing platforms and large-scale datasets with which to probe the use of the tactile information that humans rely on when grasping objects. Studying the mechanics of how humans grasp objects will complement vision-based robotic object handling. Importantly, the inability to record and analyse tactile signals currently limits our understanding of the role of tactile information in the human grasp itself—for example, how tactile maps are used to identify objects and infer their properties is unknown6. Here we use a scalable tactile glove and deep convolutional neural networks to show that sensors uniformly distributed over the hand can be used to identify individual objects, estimate their weight and explore the typical tactile patterns that emerge while grasping objects. The sensor array (548 sensors) is assembled on a knitted glove, and consists of a piezoresistive film connected by a network of conductive thread electrodes that are passively probed. Using a low-cost (about US$10) scalable tactile glove sensor array, we record a large-scale tactile dataset with 135,000 frames, each covering the full hand, while interacting with 26 different objects. This set of interactions with different objects reveals the key correspondences between different regions of a human hand while it is manipulating objects. Insights from the tactile signatures of the human grasp—through the lens of an artificial analogue of the natural mechanoreceptor network—can thus aid the future design of prosthetics7, robot grasping tools and human–robot interactions1,8,9,10. https://www.nature.com/articles/s41586-019-1234-z

edited by kcontents

사람 손처럼 완벽한 촉감 가능해져 

2일 인터넷 포럼 ‘빅 싱크(Big Think)’는 MIT의 컴퓨터과학‧인공지능연구소(CSAIL)에서 눈을 감은 상태에서 손쉽게 사물을 인식할 수 있는 인공지능 장갑을 개발했다고 보도했다.

지난 주말 ‘네이처’ 지에 게재된 논문 ‘Learning the signatures of the human grasp using a scalable tactile glove’에 따르면 이 장갑은 실제 손의 감각을 모방해 다양한 자극을 감지할 수 있다.

연구를 이끈 CSAIL 수브라마니안 순다람(Subramanian Sundaram) 연구원은 “그동안 사람처럼 접시를 닦는 등 촉각이 예민한 로봇 기능을 연구해왔다”고 말했다.

그리고 “지금 로봇을 제어하는 촉각 피드백(tactile feedback)을 통해 사물을 예민하게 감지하기 시작했다”며, “향후 추가 연구를 통해 사람처럼 완벽한 감각을 지닌 로봇 손을 제작할 수 있을 것”으로 내다봤다.

연구팀은 이 인공지능 장갑을 개발하기 위해 15달러 가격의 신축성 있는 장갑을 사용했다고 밝혔다. 장갑에 사물을 식별할 수 있는 센서를 부착했는데 ‘STAG(scalable tactile glove)’라고 부르고 있다.

사람의 손에는 기계적감각수용기(Mechanoreceptor)가 있어 외부에서 가해지는 다양한 물리적 자극을 촉감 신호로 변환시킨다.

이 손의 능력을 10 단계로 분류했을 때 그동안 개발된 로봇 장갑은 2단계 수준에 머물러 있었다. 연구팀은 디지털 영상과 기계학습 프로그램을 통해 사람처럼 사물을 인지할 수 있는 ‘컴퓨터 영상 로봇(computer-vision-based robot)’을 개발했다고 밝혔다.

그리고 이미지 분석을 통해 이전의 로봇 손과는 다른 광범위한 촉각 정보를 인지할 수 있는 데이터세트(datasets)를 구축했으며, 이를 통해 사람이 사물을 감지할 때 의존하는 촉각 정보를 대체할 수 있었다고 말했다.

    

연구팀은 논문을 통해 “이 로봇 장갑이 영상을 기반으로 한 로봇 손 개발에 시발점이 될 수 있다”며, “향후 추가 연구를 통해 촉각 피드백에 있어 3, 4, 5 단계를 넘어 6, 7단계 기능에 도달할 수 있을 것으로 예상된다”고 말했다.

76% 정확도, 의도대로 움직일 수 있어 

연구팀은 이번 연구에 적용한 기계학습(mechine learning) 프로그램이 ‘콘볼루션 신경망(CNN)’이라고 밝혔다.

심층 신경망(DNN)의 일종으로 영상 분석을 통해 사물의 무게를 추정할 수 있으며, 손으로 만졌을 때 어떤 촉각을 느낄 수 있는지 그 상황을 인식할 수 있다.

실로 만든 신축성 있는 장갑 안에는 548개의 센서가 부착돼 있다. 장갑 표면에는 외부 충격에 반응할 수 있도록 전극이 촘촘하게 배열된 중합체를 코팅해 어떤 자극이 주어졌을 경우 사물의 속성을 파악할 수 있다.

순다람 연구원은 이 STAG 시스템을 ‘촉각으로 읽을 수 있는 지도(tactile maps)’라고 설명했다. 손바닥이 사물을 감지하듯이 사물의 영상을 보고 그 속성을 파악한 후 지도에 입력된 정보에 따라 반응하게 된다는 것.

연구원은 “로봇이 이 장갑을 착용할 경우 사람의 손처럼 서로 다른 영역에서 사물을 감지해 자연스럽게 대응해나갈 수 있다”고 말했다.

특히 “이 STAG 시스템의 영상 식별을 통해 다양한 사물에 접촉하고(touch), 움직이며(move), 집어올리고(pick up), 내려놓으며(put down), 의도적으로 떨어뜨리고(drop), 감촉을 느낄 수 있는(feel) 것이 가능하다”는 것.

 

MIT 인공지능연구소에서 개발한 AI 장갑. 548개의 센서가 부착된 이 장갑은 사물의 영상 분석을 통해 외부로부터 촉감을 분석할 수 있는 능력을 지니고 있다. 현재 76%의 정확도를 보이고 있는데 그 능력을 향상시켜나가고 있는 중이다. ⓒMIT

그는 또 “그동안 콘볼루션 신경망(CNN)에 26개 사물과 관련, 13만 5000 프레임의 촉각 데이터세트를 식별할 수 있는 능력을 확충했다”고 말했다. 그중에는 소다 캔(soda can), 가위, 테니스 볼, 수저, 펜, 머그컵 등이 포함돼 있다.

순다람 연구원은 “실험 결과 76%의 정확도를 보였는데 특히 무게 측정에 있어 60g 정도의 오차를 보였다”고 말했다.

연구원은 현재 또 다른 사물을 대상으로 1만 1600 프레임이 추가로 개발되고 있다며, 이 프레임 속에는 사물의 무게를 더 정확히 분석할 수 있는 시스템이 추가되고 있다고 말했다.

순다람 연구원은 “다른 곳에서도 여러 유형의 로봇 손을 제작해왔으나 센서의 개수는 50개 정도에 불과했다”며 “이번에 개발한 장갑은 548개의 센서가 부착돼 있음에도 불구하고 비용이 매우 적게 들어 불과 10달러 선에서 생산비를 조절할 수 있다”고 말했다.

연구팀은 향후 이 기술을 적용할 경우 촉각 피드백 7단계까지 기능을 향상시켜나갈 수 있다고 말했다. 7단계가 완성될 경우 8, 9, 10 단계 도달도 가능해 실제 사람의 손과 같이 완벽한 촉각 기능을 수행할 수 있는 로봇 손이 탄생할 수 있을 것으로 내다봤다.

이강봉 객원기자 사이언스타임스

브라운대, 처음 본 글씨 필기하는 AI 로봇 개발

일본어 말뭉치로 인공지능 훈련시켜

 

    미 브라운대학 연구진이 이전에 전혀 학습한 경험이 없는 여러 나라 글자를 필기할 수 있는 기술을 개발했다.

과학 및 IT 전문매체인 ‘와이어드’에 따르면 브라운대학 로봇 과학자인 ‘스테파니 텔렉스(Stefanie Tellex)’ 교수팀은 로봇에게 일본어 글자를 쓰는 법을 가르친 후 이를 바탕으로 힌디어, 그리스어, 한국어, 영어 등 한번도 본적이 없는 글자를 그대로 따라 쓸 수 있는 인공지능 로봇 기술을 개발했다. 

ATSUNOBU KOTANI

THIS CRAFTY ROBOT CAN WRITE IN LANGUAGES IT’S NEVER SEEN BEFORE ATSUNOBU KOTANI AMONG THE MANY things we humans like to lord over the rest of the animal kingdom is our complex language. Sure, other creatures talk to one another, but we’ve got all these wildly complicated written languages with syntax and fun words like defenestrate. This we can also lord over robots, who, in addition to lacking emotion and the ability to not fall on their faces, can’t write novels. At least not yet. Researchers at Brown University just got a robot to do something as linguistically improbable as it is beautiful: After training to hand-write Japanese characters, the robot then turned around and started to copy words in a slew of other languages it’d never written before, including Hindi, Greek, and English, just by looking at examples of that handwriting. Not only that, it could do English in print and cursive. Oh, and then it copied a drawing of the Mona Lisa on its own for good measure. Like walking on two legs, handwriting is one of those seemingly simple human charms that is in fact elaborate. When you write a word, you have to know where to put down your pen, how long to draw a line and in which direction, then pick up your pen, sometimes mid-letter (like with a capital A), and know where to put it down again. https://www.wired.com/story/robot-writing/

edited by kcontents

로봇이 글자를 쓰기 위해선 필기 도구를 이용해 어디에서부터 선을 어떤 방향으로 어느 정도의 길이로 써야 하는지를 훈련시켜야 한다. 또 글자 중간에 필기 도구를 들어올려 다음 글자를 쓰기위해 이동하는 법도 가르쳐야 한다.

브라운대학 연구팀이 개발한 학습 시스템은 2개의 모델로 구성되어 있다. '로컬(local)' 모델은 현재 필기 도구가 어떤 위치에서 무슨 일을 하고 있으며, 글씨를 마무리하기 위해 글씨를 쓰는 방향과 필치가 끝나는 부분에 관해 결정한다. 또 ‘글로벌(global)’ 모델은 필기 도구를 이용해 다음 글자를 쓰기 위해 언제 이동하는지를 결정한다.

연구팀은 로봇에게 글씨 쓰는 훈련을 시키기 위해 우선 일본어 말뭉치들을 입력해 훈련시켰다. 일본어 말뭉치와 함께 각 글자들의 필치 구성에 관한 정보를 제공했다. 이처럼 일본어 쓰는 법을 가르친후 연구팀은 화이트보드에 힌디어, 타밀어, 한국어, 영어 등 여러 언어 문화권의 글자를 썼다. 로봇은 이들 글자를 처음봤지만 그대로 따라 썼다. 영어는 필기체, 인쇄체 둘다 가능했다.

연구팀은 로봇의 능력이 어디까지인지를 테스트했다. 화이트보드에 펜으로 모나리자 그림을 스케치해 보여주자 로봇이 그대로 따라 그렸다. 또 연구실을 방문한 어린이들을 대상으로 글씨를 쓰게 한후 그대로 따라하게 했는데 인공지능 로봇이 어린이들의 글씨체를 그대로 흉내냈다. 하지만 연구팀은 이번에 개발된 인공지능 기술은 영어나 한글처럼 오른쪽에서 왼쪽으로 쓰는 문자는 그대로 따라 쓸 수 있지만 아랍어 처럼 오른쪽에서 왼쪽으로 쓰는 문자는 따라하지 못한다고 밝혔다. 

연구팀은 이번 연구가 로봇과 인간의 소통방식에 새로운 가능성을 열어줄 것이라고 말했다.

장길수  ksjang@irobotnews.com 로봇신문사

 kcontents