'젊은 로봇 공학자' (56) 울산과기원 유현우 교수

'젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

56번째 인터뷰는 울산과학기술원(UNIST) 로보틱스 및 인공지능 연구실 유현우 교수다. 유 교수는 1989년생으로 서울대 전기컴퓨터공학부를 거쳐, 동 대학원 전기컴퓨터공학부에서 2020년 2월 박사학위를 받았다. 졸업 후 2020년 3월부터 2021년 12월까지 미국 카네기멜론대(CMU)에서 박사후연구원을 거쳐 올해 2월 울산과기원 전기전자공학과 조교수로 근무하고 있다.

2010년~2011년 국립대학원 과학기술 장학생,  2018~2020 삼성연구장학생으로 선발되었다.

주요 관심 분야는 Robot Perception(로봇인지), Robot Adaptation(로봇적응), 3D semantic SLAM, 자율주행(Autonomous driving), 내비게이션(Navigation) 분야다. 

▲울산과학기술원(UNIST) 유현우 교수

Q. UNIIST 로보틱스 및 인공지능 랩을 이끌고 계신데 간단한 소개 부탁 드립니다.

로보틱스 및 인공지능 랩에서는 인공지능과 로보틱스를 융합하여 상호보완하여 발전할 수 있는 연구 수행을 목표로 합니다. 특히 차세대 4차산업 구축 및 스마트홈, 스마트시티 및 스마트팩토리에 필요한 인공지능 로봇을 개발하는 것에 중점을 두고 있습니다. 통계학에 기반한 최신의 인공지능 기법은 정적인 데이터 처리에만 집중하고 있으며, 로보틱스 분야는 이를 단순히 활용하는 데 그치고 있습니다.

저희 연구실에서는 인공지능이 로봇의 모빌리티라는 매개물을 통해 환경과 능동적으로 상호작용함으로써 새로운 환경에 특화될 수 있도록 하고, 더욱 효율적인 SLAM 및 로봇 내비게이션을 수행할 수 있도록 함으로써 인지지능 및 모빌리티가 상호보완할 수 있는 연구를 수행합니다. 또한 인공지능과 인간과의 유기적인 상호작용은 앞으로 전세계 어디서든 누구에게나 필요로 하게 될 것이므로, 차세대 인공지능 로봇은 궁극적으로는 같은 모델이라 하더라도 사용 환경에 따라 적응하여 각 환경에 특화될 수 있어야 합니다. 이를 위해 확률 기반의 딥러닝 및 환경 인지지능 연구와, 로봇 지도작성 기술인 SLAM 및 내비게이션 연구를 바탕으로 하여 적응형 인공지능 로봇의 개발을 연구합니다.

▲2022 AAAI 심포지움 참석 당시

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

현재 저희 연구실에서는 로봇의 이종 환경 적응 및 로봇 센서 적응에 관한 연구를 진행중입니다. 로봇의 환경인지에 필수적인 지도작성 및 위치추정 기술, SLAM은 현재까지는 이미 학습된 환경인지 및 물체인지 기술에 기반하기 때문에 학습되지 않은 환경이나 물체를 관측하는 경우 인지하기가 쉽지 않습니다. 이러한 점은 모빌리티를 가지고 있어 다양한 환경에서 작동하는 로봇에게는 큰 문제가 될 수 있으나, 역으로 이러한 모빌리티를 이용하면 새로운 환경에서 능동적으로 주행하며 학습함으로써 환경에 적응할 수 있습니다.

따라서 기존의 3D 지도 작성 기술과 연속적 학습 기법을 이용할 수 있는 방법을 연구하고 있습니다. 로봇 센서 적응에 대해서는, 로봇의 센서나 플랫폼이 바뀌더라도 기존에 획득한 학습 데이터를 활용함으로써 새로이 학습 데이터를 획득할 필요 없이 학습 지식을 전달할 수 있는 방법을 연구하고 있습니다. 이를 위해 3D 지도 작성 기술 및 가상환경에서의 관측 재구성을 연구하고 있으며, 최근 그래픽스 분야에서 활발히 연구중인 뉴럴 렌더링 기술을 접목하기 위한 방법론을 연구중입니다.

Q. 서울대에서 “A Variational Observation Model of 3D Multi-Object in 2D Single Scene for Semantic SLAM”으로 박사 학위를 받으셨는데 어떤 내용인지 소개 부탁 드립니다.

박사과정 논문은 3D 지도 작성 및 위치 추정 기술과 딥러닝 기술을 하나로 합쳐 최적화를 할 수 있는 기법에 대한 내용입니다. 박사과정 동안 인공지능 기법에서 큰 발전을 이룬 환경 인지 기술을 로봇의 3D 지도 작성 및 위치 추정 기술과 어떻게 연결지을 수 있을지에 대하여 고민하였습니다.

이전까지는 로보틱스 분야에서는 단순히 인공지능 분야에서 개발된 물체인지 및 환경인지 기술을 이용하는 데에 그치고 있었기 때문에, 로봇이 연속적으로 환경을 관측함으로써 잘못된 인지를 보완할 수 있다는 강점을 제대로 활용하지 못하고 있었습니다. 그러나 인공지능 분야의 물체 및 환경인지 기법은 딥러닝에 기반한 기법으로 쉽게 파악하기 힘든 비선형 시스템을 따르기 때문에, 가우시안 오차를 가정하는 로봇 및 지도의 위치추정 최적화에 함께 고려하기가 대단히 힘듭니다.

이를 극복하기 위해 변분추론에 기반한 생성모델을 활용하여 물체 및 환경인지 기법을 근사하고, 이를 3D 지도 작성 및 위치추정 최적화에 통합함으로써 로봇 최적화와 인공지능 기반 인지 기법을 하나로 합치고자 하였습니다. 이로써 기존의 인지 기법을 우리가 알 수 있는 확률 기법으로 근사함으로써 누적된 관측값으로부터 잘못된 인지가 일어나거나 위치 추정이 실패하더라도 보완할 수 있는 기법을 제안하였습니다.

▲2018 ICRA논문의 semantic SLAM을 위한 물체 인지 근사 기법

Q. 주요 관심 분야가 Robot Perception, Robot Adaptation, 3D semantic SLAM, Autonomous driving, Navigation 분야로 알고 있습니다. 로봇 인지(Robot Perception), 로봇 적응(Robot Adaptation) 분야의 최신 동향이나 특이사항이 있다면?

제가 뉴럴 네트워크 기반의 생성 모델을 기반으로 모노큘러(monocular) SLAM과 인지 기법을 확률적으로 통합하는 방법을 제시한 후로, 확률 기반의 SLAM 기법은 많이 제시되지 않았고 대신 3D 라이다 SLAM에 씨멘틱 언더스탠딩(semantic understanding)을 활용함으로써 장소 인식 및 루프 클로징(loop closing)을 수행하는 기법들이 다수 제안되었습니다. 현재는 스캐닝 3D 라이다의 발달과 솔리드 스테이트(solid-state) 라이다 개발로 RGB-D 정보를 통해 3D SLAM을 수행하는 추세로 보입니다. 또한 미국 및 국내 자율주행 스타트업에서도 라이다를 이용한 환경인지 및 위치추정을 수행하고 있습니다. 다만 테슬라의 오토파일럿 팀과 같은 자율주행 연구팀에서는 인간과 비슷한 인지결과를 얻기 위해 다수의 RGB 카메라와 함께 IR센서를 국소적으로 활용하고 있습니다.

또한 최근 그래픽스 분야에서 뉴럴 렌더링 기술이 비약적으로 발전하면서, 씨멘틱(semantics) SLAM에 적용하고자 하는 시도가 늘고 있습니다. SLAM의 결과로 얻은 지도를 인공신경망에 저장할 수 있다는 획기적인 아이디어를 사용함으로써 효율적으로 관측 결과를 얻을 수 있을 뿐만 아니라, 관측하지 않은 시점에서의 환경 인지 결과 또한 렌더링을 통해 얻어낼 수 있는 만큼 SLAM 및 그래픽스 기반의 인공지능 기법을 적절히 융합하였다고 생각합니다.

▲2022 ICRA 참석

Q. 모바일 플랫폼이나 자율주행 자동차에서 3D semantic SLAM 기술의 중요성이 높아지고 있습니다. 이러한 기술들이 왜 중요하고 어떻게 활용 가능한지 설명해 주시면 감사하겠습니다.

3D SLAM은 새로운 GPS로 대두되는 만큼 로봇 및 모바일 플랫폼의 위치 추정 기술로써 널리 사용되고 있습니다. 3D SLAM 기법이 로봇의 위치 추정에 그치는 기술이라고 할 수도 있지만, 사실 로보틱스에 있어서 SLAM의 본질은 로봇 환경인지의 출발점이라고 할 수 있습니다. 로봇은 움직이면서 환경을 연속적으로 인지한다는 큰 특징을 가지고 있기 때문에, 로봇의 움직임을 고려하면서 동시에 연속적인 인지 결과를 통합할 수 있는 기술이 필요합니다. 이를 위해서는 로봇 및 주변 환경의 위치 추정은 필수이며, 최근에는 딥러닝에 기반한 semantic 인지 또한 고려함으로써 로봇에게 필요한 환경인지를 수행할 수 있습니다. 이 기술이 곧 3D semantic SLAM입니다.

모바일 플랫폼 및 자율주행 시스템은 주행 및 서비스 수행을 위해 로봇의 위치추정 뿐만 아니라 주변 환경에 대한 이해가 함께 진행되어야 하기 때문에 이러한 semantic SLAM 기술이 필수적입니다. 즉 semantic SLAM 기술은 사람의 환경 인지 능력을 표방하기 때문에, 특히 모바일 로봇이 사람에게 특정 작업을 수행해야 하는 경우에는 반드시 필요합니다. 간혹 GPS와 같은 절대좌표계에서의 위치 추정 기술을 들어 SLAM을 수행할 필요가 있냐고 생각할 수 있으나, 로봇의 위치를 안다고 하더라도 인지한 물체나 환경을 지속적으로 업데이트하고 확률적으로 최적화해야 한다는 점은 변하지 않기 때문에 여전히 국소 지점에서는 semantic SLAM이 필요하다고 할 수 있습니다.

또한 통상적인 GPS는 실내는 물론 하늘이 잘 보이지 않는 실외에서도 잘 동작하지 않으며, 일반적인 상황에서는 몇 미터 이내까지만 정확하기 때문에 자율주행 차량에서는 대략적인 운전 방향을 설정하는 데 외에는 정확하지 않아 실내외 및 장소를 가리지 않고 이용되는 모바일 로봇에서 SLAM 수행은 필수적입니다.

Q. 로봇을 연구하시면서 가장 어려운 점은 무엇입니까?

학부 입학하기 전에 학교의 기계 및 전기공학 교수님들께 로보틱스를 하기 위해서는 어느 학부에 입학해야 하냐고 여쭌 적이 있습니다. 답변은 모든 분야가 필요하니 어디를 가든 상관없다는 것이었는데, 이것이 로보틱스 분야에서 가장 어려운 점 같습니다.

우리가 꿈꾸는 진정한 로봇을 인간 곁에 두고자 한다면 전자 전기 기계 컴퓨터 재료 등 공학에서 생각할 수 있는 거의 모든 분야가 정점에 이르러야 합니다. 학습 기반의 인공지능 뿐만 아니라 하드웨어 및 제어 분야에서의 비약적인 발전 또한 동반되어야 합니다.

제 큰 연구의 주제가 로봇 모빌리티 및 인공지능의 통합인 것도 여기에 있습니다. 이와 같이 로보틱스는 서로 다른 분야의 통합이 반드시 필요한 응용공학이라는 점이 가장 어려운 점이라고 생각합니다.

Q. 로봇을 연구하시게 된 동기가 있다면?

유치원 때였던 것 같은데 인공지능을 탑재한 경찰 로봇 만화를 본 적이 있습니다. 그 이전 이후로도 로봇 만화는 굉장히 많이 봤던 것 같은데, 인간의 마음을 가진 초인공지능이라는 주제로 최소 관람연령에 맞지 않게 굉장히 심도 있는 내용을 다루었습니다. 이것이 계기가 되어 인간을 도와줄 수 있는 강한 힘을 가진 동반자가 곁에 있으면 좋겠다는 막연한 생각을 가지게 되었고, 지금까지도 그 생각으로 로봇을 연구하고 있습니다.

▲RA-L (2021)에 발표한 real-time multi-object 3D localization 네트워크

▲RA-L (2022)에 발표된 anytime algorithm을 위한 물체인지 전송 시 확률 근사

Q. 2020년 2월 박사 학위 취득 후 2020년 3월부터 2021년 12월까지 미국 카네기멜론대에서 박사후 연구원으로 계셨는데 당시 주로 어떤 연구를 하셨나요?

미군에서 활용하고자 하는 실시간 환경 인지를 기반으로 한 AR/VR을 개발하는 데 참여하였습니다. 로보틱스에서 추구하는 것 중에 실시간 수행이 해당 과제와 일맥상통하기 때문에, 단일 이미지로부터 실시간 다수 물체 인지 및 위치추정이 가능한 기법을 개발하였습니다. 또한 극한 상황에서 이용되는 로봇이 인지한 환경에 대한 데이터 전송 시에, 전송 실패하여 일부의 데이터만 전송된 경우 인지한 환경을 최대한 복원해 내는 기술을 개발하였습니다. 이는 3D SLAM 및 semantic understanding을 통합하기 위해 제안했던 확률 근사기법을 확장하여 기술을 개발하였습니다.

Q. 로봇 연구자로서 앞으로의 꿈과 목표가 있다면?

로봇이 정통적인 인공지능과 가장 큰 차이점은 우리의 실생활에서 직접 움직이며 함께 활동한다는 것입니다. 즉 어디에서 언제든지 어떠한 목적으로든 사용될 수 있어야 합니다. 궁극적으로는 같은 모델의 로봇이라 하더라도 사용자나 사용 환경에 따라 각기 달리 적응하여 내부적으로는 완전히 다른 로봇처럼 동작하는 것이 가장 이상적일 것입니다. 이를 위해 인간이나 동물과 같은 적응형 로봇을 개발하는 것이 최종 목표입니다.

현재는 3D SLAM 및 인지 지능 분야를 주로 연구하고 있으나, 제안한 목표를 위해서는 로봇 모빌리티를 위한 하드웨어 또한 통합하는 것이 반드시 필요하므로 이를 위해 정진할 계획입니다.

Q. 최근 로봇을 먼저 연구한 선배로서 후배에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

어느분야든지 간에 마찬가지겠지만, 자신이 이루고 싶은 목표를 먼저 생각해보는 것이 중요합니다. 로봇에 대한 흥미가 생겼다면 궁극적으로 내 옆에 어떠한 로봇이 서 있길 바라는 지 한번 상상해 보는 것이 중요합니다. 이것이 바탕이 되어야 다양한 분야를 포괄하는 로보틱스에서 자신의 길을 똑바로 찾을 수 있습니다.

이와 연관된 이야기지만 로보틱스는 다양한 분야에 대한 이해가 필요한 연구분야이기 때문에, 자신의 주전공 외에 로보틱스와 관련되어 있는 분야에 대해서도 깊이 공부해 보아야 합니다. 예를 들어 컴퓨터공학 전공자라면 로봇이 이용하는 각종 센서나 이미지 처리에 대해서도 생각해 보고, 기계공학 전공자라면 프로그래밍 및 딥러닝 분야에 대해 공부해볼 필요가 있습니다.

▲한국로봇학회 Kroc 2016 참석 당시

Q. 연구자로서 한국 로봇산업이 한 단계 더 발전하기 위해 조언을 해 주신다면...

저 또한 부족하고 임용된 지 얼마 되지 않은 입장에서 조언할 위치는 아닙니다만, 로보틱스는 연구 분야의 특성상 실제 상황에 응용될 수 있도록 하는 것이 목표가 아닐까 생각합니다. 다시 말해 연구 결과가 실제로 적용이 되어 가시적인 성과가 나오고, 나아가 상업적으로 효용 가치가 있게 되는 것이 최상이라고 생각합니다. 따라서 이론적인 연구도 좋지만, 어떤 형태든지 간에 로보틱스를 연구한다면 실용성에 중점을 두는 것이 한국 로봇산업이 발전할 수 있는 길이 아닐까 생각합니다.

최근 대기업에서 인공지능을 실제 상품화 하고자 하는 움직임이 일어나고 있는 것으로 알고 있는데, 이는 매우 바람직하다고 생각합니다. 이를 시작점으로 하여 로보틱스의 연구들이 실용성을 생각하고 진행된다면, 로보틱스에 필요한 다른 분야들 역시 같이 움직일 수 있을 것이라고 생각합니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

지도교수님이신 서울대 전기공학부 이범희 교수님께서 박사과정 내내 정말 많은 것을 가르쳐 주셨습니다. 연구뿐만 아니라 사회생활 또는 인간관계까지 다방면으로 알려주시고 많은 조언을 주셨습니다. 박사후 연구과정 PI이신 CMU의 진 오(Jean Oh) 교수님께도 많은 영향을 받았습니다. 연구를 넘어서 연구를 위한 관계 형성이나 가져야 할 태도, 그리고 세계 속에서 연구자로서 나라는 존재는 어떤 것인지 생각할 수 있도록 조언 주셨습니다. 또한 동등한 위치에서 함께 연구자로서 협력하는 것이 무엇인지 알려주셨습니다. 또한 잠깐이지만 함께 일했던 CMU의 지 장(Ji Zhang) 교수님께서도 훌륭한 실력을 바탕으로 학생들과 목표하는 연구를 이루어내는 모습을 보면서 많은 것을 느꼈습니다.