AR 아바타 + 로봇 = V룸(VROOM) - MS 발표 VIDEO: Microsoft Research’s VROOM combines life-sized AR avatars with robots
MS, 텔레프레즌스 로봇 ‘V룸’ 발표
홀로렌즈 헤드셋 쓰면 사무실 근무자와도
화이트보드 보고 장소 옮겨가며 회의
마이크로소프트(MS)리서치가 실물 크기의 AR 아바타와 로봇을 결합한 V룸(VROOM)을 내놓았다.
‘벤처비트’는 5일(현지시각) MS리서치가 증강현실(AR)과 가상현실(VR)을 결합, 실물 크기의 아바타를 텔레프레센스 로봇 형태로 작업장으로 불러들이는 방법인 V룸(VROOMㆍVirtual Robot Overlay for Online Meetings)을 발표했다며 이를 소개했다.
V룸 원격 사용자는 헤드셋과 헤드폰을 착용하고 컨트롤러를 쥐는 것으로 원격 회의(텔레컨퍼런싱) 대화 준비를 마치게 된다.(사진=MS리서치 유튜브)
Microsoft Research’s VROOM combines life-sized AR avatars with robots Microsoft Research today introduced Virtual Robot Overlay for Online Meetings (VROOM), a way to combine AR and VR to bring life-sized avatars into the workplace in the form of telepresence robots. Makers of VROOM detailed the system in a recently released paper and said it’s meant to make the person working remotely in VR and the person working in the office and wearing a HoloLens AR headset feel like they’re in the same place. As a Windows Mixed Reality headset tracks the remote worker’s pose and head movement, they get a 360-degree view of the surroundings and any movements via the telepresence robot. A Unity app is used to animate the avatar for the person wearing the HoloLens based on the movement of the remote worker. via youtube View full text https://venturebeat.com/2020/05/05/microsoft-researchs-vroom-combines-life-sized-ar-avatars-with-robots |
edited by kcontents
V룸 제작자들은 최근 발표한 논문에서 이 시스템을 상세히 설명하면서 “VR에서 원격으로 일하는 사람과 사무실에서 일하는 사람이 홀로렌스 AR 헤드셋을 착용하면 마치 같은 장소에 있는 것처럼 느끼게 하기 위한 것”이라고 말했다.
원격근무자가 보는 영상(왼쪽)과 사무실 현장의 혼합현실 헤드셋을 착용한 현장 동료가 보는 영상(오른쪽). (사진=MS리서치 유튜브)
원리는 윈도 혼합현실 헤드셋(Windows Mixed Reality)이 원격 작업자의 자세와 머리 움직임을 추적함에 따라 텔레프레즌스 로봇을 통해 주변과 어떤 움직임도 360도 볼 수 있게 한 것이다. 이 때 유니티(Unity) 앱은 원격 작업자의 움직임을 바탕으로 홀로렌즈를 착용한 사람의 아바타를 애니메이션으로 만드는 데 사용된다.
손 동작과 팔 동작은 컨트롤러에 의해 기록되고 양 측이 볼 수 있다. 이 시스템은 사람들이 말할 때의 입 움직임뿐만 아니라 눈 깜빡임과 쓸데없는 동작까지도 추가해 아바타를 더 현실처럼 보이게 한다. V룸은 2D 이미지를 3D 아바타로 변환해 원격 작업자의 얼굴을 아바타의 머리 위에 올려놓는다.
원격 근무자는 사무실에서 근무하는 현장 동료를 만나 같은 방식으로 혼합현실 헤드셋을 쓴 동료를 만나 대화할 수 있다. (사진=MS리서치 유튜브)
또한 V룸 시스템은 VR 사용자에게 1인칭 뷰를 제공해 원격 작업자가 그들의 손동작과 동작을 볼 수 있도록 해 준다. 그러면 이 아바타는 원격 작업자가 로봇에게 움직이라고 지시할 때 걷는 것처럼 보인다.
V룸 논문은 사이먼 프레이저 대학교 박사 예정자이자 MS리서치 인턴인 브레넌 존스, MS리서치 엔지니어 야잉 장, MS 리서치 소셜 커뮤니케이션 기술 수석 연구원인 션 린텔, MS리서치 연구원 프리실라 웡이 함께 썼다.
저자들은 논문에서 “화면이 달린 텔레프레즌스 로봇을 사용해 표준 로봇 텔레프레즌스와 V룸을 비교할 수 있도록 했지만, 각각의 현장 사용자 모두가 헤드셋을 착용한 공간에서는 화면이 불필요할 것이다. 따라서 미래의 버전에서는 머리 높이까지 올라가는 기둥에 360도 카메라를 장착한 구동식 로봇을 사용할 수 있을 것이다”라고 말했다.
이들은 “V룸 기술은 사용자들이 시선과 관심사항을 따라가면서 동등한 수준에서 참여할 수 있도록 해 주는 화이트보드 사용이나 디자인 세션과 관련된 산업에 가장 잘 적용될 수 있을 것”으로 기대한다. 문서화된 텔레프레즌스 로봇의 다른 용도로는 박물관, 원격 학술회의 참석 및 장거리 관계 등에서의 응용이 포함된다.
원격 근무자는 현장 근무자와 함께 사무실내 다른 장소로 이동해 앞서처럼 다른 부분에 대해 가리키고 토의할 수 있다. (사진=MS리서치 유튜브)
원격 근무자의 얼굴이 촬영돼 아바타로 만들어진 후 텔레프레즌스 로봇에 중첩된다. (사진=MS리서치 유튜브)
원격사용자가 직이면 현장 사용자는 원격사용자의 아바타를 보게 된다. (사진=MS리서치 유튜브)
현재 V룸은 일대일 상호작용만 보여준다. 향후에는 여러 사람의 참여, 공유된 혼합 현실 작업 공간에서의 실험, 또는 비용이 적게 드는 모바일 로봇과 함께 작업 하는 등의 응용분야를 추구하게 될 것이다.
V룸은 사전 연구 기여의 후속으로 나왔으며 ACM 인간-컴퓨터 상호작용 컨퍼런스(ACM CHI)에서 발표 승인을 받았다. 이번 회의는 이달초 하와이에서 열릴 예정이었으나 코로나19와 글로벌 자가격리 명령으로 인해 취소됐다.
앞서 지난 2018년 발표된 ACM CHI 연구 성과로는 아바타를 혼합된 현실에서의 미팅과 상호작용에 끌어들이는 방법인 미니미(Mini-Me)가 발표됐다.
원격 근무자는 복합현실 헤드셋을 쓰고 서로 말을 하고 동작을 이해하고 현장 사무실에서 이동하고 사무실내에서 이동해 특정 지점을 가리키고 제스처를 사용할 수도 있다. (사진=MS리서치 유튜브)
ACM 인간-컴퓨터 상호작용 컨퍼런스(ACM CHI·ACM Conference on Human Factors in Computing Systems)는 일반적으로 인간-컴퓨터 상호작용 분야에서 가장 권위있다고 간주되는 학회로 컴퓨터공학 분야 최고의 컨퍼런스로 알려져 있다.
다른 작업장용 최신 VR 앱으로는 지난달 VR 줌(Zoom) 미팅용 스페이스(Spaces) 앱이 도입됐고, 이달초 HTC는 가상현실에서의 미팅과 협업을 위한 바이브싱크(Vive Sync) 앱을 출시했다.
이성원 sungwonly09@gmail.com 로봇신문사
VROOM: Virtual Robot Overlay for Online Meetings
kcontents
