'젊은 로봇 공학자' (50) KAIST 박대형 교수

'젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

50번째 인터뷰는 KAIST 박대형 교수다. 박 교수는 2006년 3월 일본 오사카대학에서 시스템 사이언스로 학부를 마치고 미국으로 건너가 로스앤젤레스 남캘리포니아대학에서 컴퓨터 사이언스로 2008년 5월 석사 학위를 받았다. 졸업 후 귀국해서 2008년부터 2012년까지 삼성전자 생산기술연구소에서 로봇 연구원으로 근무하면서 산업용 로봇들을 개발한 경험도 갖고 있다. 그후 회사를 그만두고 다시 미국으로 가서  2012년 부터 2018년 까지 미국 조지아 공대(Georgia Tech.)에서 보조 로봇과 이상 상황 감지 모니터를 연구하여 로보틱스 박사 학위를 받았다. 박사 졸업 후 2018년 부터 2020년 7월까지 메사추세츠공대(MIT) 컴퓨터사이언스 및 인공지능연구소(Computer Science and Artificial Intelligence Laboratory:CSAIL)에서 박사후 연구원으로 재직하면서 역강화학습과 의미적 지식추론 방법론을 연구하였다. 귀국 후 2020년 8월부터 현재까지 KAIST 전산학부 조교수로 재직하면서 강인지능 및 로보틱스 연구실을 이끌고 있다. 

주요 관심 분야는 모바일 매니퓰레이션, 기계학습, 작업 및 경로계획, 인간-로봇 상호작용 기술 등이다. 2001~2006년 한일정부 국비장학생 선발, 2008년 5월 남캘리포니아대 성적우수상 등을 수상했다. 

▲2017년 밴쿠버 IROS 학회장에서

Q. Robust Intelligence & Robotics Laboratory(RIRO Lab)에 대한 소개 부탁 드립니다.

강인지능 & 로보틱스 연구실 (RIRO Lab: Robust Intelligence and Robotics Lab)은 다양한 환경에서 사람과 소통하고 협력할 수 있는 강인한 지능을 가진 로봇 기술을 연구하는 곳입니다. 저희 연구실은 특히 주행 능력과 물체 조작 능력을 가지고 사람과 협력 가능한 모바일 매니퓰레이션 연구에 주목하고 있으며, 다가오는 고령화 사회에서의 가사, 보조, 산업 노동력 부족 문제를 해결하는 기술을 제공하고자 합니다. 이를 위해, 스킬학습과 작업 및 경로 계획 문제를 연구하고 있으며, 최근 주목받고 있는 자연어 처리와 기계 상식 기반의 추론을 연구하여 인간과 같은 수준의 작업 및 소통 능력을 가진 작업 동료를 소개할 예정입니다.

이러한 연구를 위해 저희 연구실은 기계에서 전산까지 다양한 배경을 가진 학생들로 구성되어 있으며, 연구 주제에 따라 강화학습, 심층학습(Deep Learning), 자연어 처리에 걸친 요소 기술들을 연구하여 모바일 매니퓰레이터들에 적용하고 있습니다. 대부분의 학생들은 인턴쉽 또는 개별 연구를 통해 사전 연구를 진행하고 KAIST의 전산학부, AI대학원, 로봇학제전공 등을 통해 진학하여 저희 연구실에서 연구를 수행하고 있습니다. 또한, 향후 연구소나 학계로의 진출을 적극적으로 장려하고 있으며, 더 많은 경험을 쌓게 하기 위해 MIT, IIT-Delhi 등 세계 유수 기관의 동료들과 협업을 진행하고 있고 진행할 예정입니다.

▲RIRO Lab 멤버와 모바일 매니퓰레이터 HAETAE

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

저희 연구실은 전체적으로 자연어 기반의 작업 지시를 이해하고 스킬학습을 통해 고도의 조작 작업을 수행하는 통일된 학습 및 추론 체계를 연구하고 있습니다. 이는 올해 한국연구재단의 개인 과제 및 집단 과제로 선정되어 그 중요성이 주목되고 있는데, 대표 내용은 다음과 같습니다.

자연어 기반 작업계획: 사람이 쉽게 활용 가능한 자연어 인터페이스는 모호함과 단순함으로 인해 복잡한 작업을 전달하는 데 어려움이 있습니다. 이를 자연어의 그라운딩 문제라고 하며, 여기 연구실은 표현력이 높은 시제논리(temporal logic)와 지식기반의 계획 추론 모델을 통해 다양한 작업 스킬의 조합과 시공간등의 제약을 고려한 계획을 세울 수 있는 방법론을 연구하려 하고 있습니다.

모방학습: 사람의 다양한 명령을 계획-수행하기 위해서는 다양한 작업 스킬들이 필요합니다. 하지만, 기존의 보상함수기반의 스킬 학습은 현실의 다양한 제약 조건들을 학습하지 못하고 있습니다. 이를 해결하기 위해 시공간적 제약 조건을 추론하는 역강화학습(inverse reinforcement learning)을 연구하고 있으며 향후 매니퓰레이션을 통해 그 결과를 보일 예정입니다.

이종협업지능: 마지막으로, 이종의 로봇들 결합을 통해 효율적인 협업작업을 가능케 하는 새로운 협업지능을 연구하고 있습니다. 이는 KAIST의 홍승훈, 김민준 교수님과 공동으로 집단 연구를 진행하고 있으며, 비전인식-계획-작업제어의 계층적 통합을 통해 고도화된 협력 로보틱스를 선보이려 하고 있습니다.

▲2021 ICRA논문의 시제논리 기반의 작업 및 경로 계획

Q. 미국 조지아텍에서 “A Multimodal Execution Monitor for Assistive Robots”으로 박사 학위를 받으셨는데 어떤 내용인지 소개 부탁 드립니다.

박사과정에서 수행한 주요 연구는 범용 다관절 로봇(General-purpose manipulator)을 이용한 의료서비스입니다. 최근의 로봇은 다양한 서비스를 제공할 능력이 있지만, 작은 오류로 인해 사용자를 다치게 할 수 있다는 문제가 있습니다. 이를 위해 저는 로봇의 다양한 센서들을 바탕으로 평소와 다른 이상 상황의 감지 및 분류를 할 수 있는 기계학습 기반 감시 알고리즘인 “Multimodal Execution Monitor”를 연구하였습니다. 이 연구에서는 다양한 센서들의 시간적 관계 특성(multimodal co-occurence)을 확률적으로 모델링 함으로써 입력 센서 정보의 우도(likelihood)를 계산하고, 작업의 진행 상황에 따라 변이 역치(varying threshold)를 추론하여 좀 더 빠르고 정확한 감시 방법을 소개하였습니다. 또한, 멀티모달 신호를 더 정확하게 모델링하기 위해 long short-term memory-based variational autoencoder(LSTM-VAE)라는 알고리즘을 제일 먼저 소개하여 많은 인용을 받기도 하였고 자동적 문제 해결을 위한 이상 상황의 분류 연구도 진행하였습니다.

▲ RA-L에 발표된 LSTM-VAE based Anomaly Detection

또한, 이 연구의 테스트 시스템으로서 노인과 장애인들을 위한 적극적 식사 보조 시스템(Robot-Assisted Active Feeding System)을 개발하였습니다. 여기서 적극적 식사 보조 시스템이란 기존의 간접적 식사 보조 로봇과 달리 안면 인식과 안전한 제어를 통해 상반신을 가눌 수 없는 장애인과 노인의 입안까지 음식물을 직접 투여하는 로봇을 말합니다. 이러한 연구를 통해 향후 가정에서 갖게 될 범용 로봇 팔을 가진 시스템이 멀티모달 이상 감지 시스템을 이용하여 대상에게 안전하고 편리한 서비스를 제공할 수 있음을 보였습니다. 이 연구는 AURO, RAS, RA-L, ICRA, IROS 등의 로봇 학회 및 저널뿐만 아니라 마우저(Mouser)등의 다큐멘터리등을 통해 소개되기도 하였습니다.

▲미국 Henry Evans씨와 적극적 식사 보조 시스템 테스트

Q. 로봇을 연구하시면서 가장 어려운 점은 무엇입니까?

제가 일반적으로 생각하는 로봇 연구의 가장 어려운 점은 하드웨어와 소프트웨어를 동시에 다룬다는 점입니다. 로봇은 기계, 전자, 전산학을 포함하는 복합 연구 분야로써, 학습 기반의 지능뿐만 아니라 이를 실행하는 하드웨어의 구조, 센싱, 제어를 모두 잘 알고 고려해야합니다. 그 만큼 많은 노력과 시간이 필요하죠. 이에 더해 제가 개인적으로 생각하는 가장 어려운 점은 공공 데이터의 부재입니다. 특히, 물리적인 요소가 들어갈수록 이용 가능한 데이터는 극히 희박해지게 되어 데이터의 취득, 학습, 비교평가를 매우 많은 자원을 소모하게 됩니다.

Q. 교수님의 주요 관심 분야가 매니퓰레이션(Manipulation), 재강화락습(Reinforcement Learning), 자연어처리(Natural Language Processing) 등으로 알고 있습니다. 매니퓰레이션 분야의 최신 동향이나 특이점이 있다면 무엇인지 궁금합니다.

매니퓰레이션 연구는 제한된 환경에서 협동 로봇을 통해 공존(co-existence) 가능한 로봇의 연구로 발전해 왔습니다. 이제 다음 단계로써 협업(collaboration) 가능한 지능을 가진 로봇의 연구로 점차 연구의 토픽들이 변화되고 있으며, 최근에 제가 주목하고 있는 동향 키워드들은 심볼릭플래닝(symbolic planning), 머신커먼센스(machine commonsense), 큐리오시티(curiosity) 등입니다. 협업 가능한 로봇은 사람의 사람과 같은 수준의 지식과 스킬을 바탕으로 작업과 명령을 이해할 수 있어야 하며, 이를 위한 지식을 취득, 구축하고 사람과 같이 문제의 간략화를 통한 계획을 해야 할 것입니다. 이러한 연구는 자연어처리(natural language processing), 재강화학습(reinforcement learning), 메타학습(meta learning) 등과 매우 밀접한 관계가 있으며 앞으로의 발전이 매우 기대가 됩니다.

Q. 로봇을 연구하시게 된 동기가 있다면?

어려서부터 로봇 만화를 많이 봐서 그런지 자연스럽게 만들어 보고 싶다는 생각이 있었는데요, 국비장학생 프로그램을 통해 로봇 강국인 일본으로 유학을 하게 된 것이 결정적 계기가 아니었나 싶습니다. 일본에서는 학부 4년 차에 모든 학생이 연구실로 배정되어 1년 내내 연구하는 과정이 있었고, 자연스럽게 로봇 연구실에서 휴머노이드 제어를 연구하면서 본격적인 연구자의 길을 걷게 되었습니다.

Q. 특이하게도 일본 오사카대학에서 학부를 마치고 미국으로 가셔서 남캘리포니아대학에서 석사, 조지아텍에서 박사를 하셨습니다. 일본에서 미국으로 진학하시게 된 특별한 계기가 있었나요?

일본에서 다양한 모바일 로봇을 제작하고 휴머노이드의 회전 동작을 연구하면서 단순한 룰(rule)기반의 동작을 만들어내다 보니 로봇의 한계를 강하게 느꼈었습니다. 물론, 인터넷에 학습 소스가 많지 않던 시절이었기에 학부생 수준에서는 당연한 결과였겠지만 제가 생각하는 로봇을 만들기 위해서는 새로운 돌파구가 필요하다고 생각하였습니다. 그 당시 한국과 일본의 많은 연구가 디자인 및 제어적 관점을 중요시하는 상황이었고 제 전공 또한 전자시스템이였기 때문에 전산 쪽으로의 진학이 필요했습니다. 이에 따라 자연스럽게 인공지능의 강국인 미국으로 눈을 돌리게 되었고, 컴퓨터사이언스-지능형로봇(computer science - intelligent robotics) 쪽으로 전공을 바꾸어 학업을 이어나가게 되었습니다.

Q. MIT에서 박사후 연구원으로 2018년부터 2020년 7월까지 계셨는데 어떤 연구를 주로 하셨는지요?

MIT에서 제가 관심 있게 진행했던 연구는 사람과 다양한 협업 및 보조를 할 수 있는 지능로봇의 개발로써 모방학습을 통한 협업 가능한 스킬의 획득과, 소통을 통한 작업수행이라는 두 가지 방향에 걸친 연구가 있습니다. 

간단히 소개해 드리면, 첫 번째는 사람의 스킬을 정확하고 효율적으로 학습하는 새로운 모방학습 기술입니다. 실제 사람의 작업은 주어진 작업의 목적뿐만 아니라, 안전 및 규약등의 제약 조건(constraint)의 이해가 필요하지만, 기존의 모방 학습 방법론은 목적함수(reward function) 학습에 집중하여 작업에 내재한 조건들을 학습할 수 없었습니다. 저는 한 개의 교시 자료(demonstration)를 분할하고, 각 부분을 대표하는 목표 상태 및 제약 조건을 찾아내는 알고리즘인 "제한기반 베이지안 비모수적 역강화 학습(Constraint-based Bayesian Nonparametric Inverse Reinforcement Learning :CBN-IRL)”을 제시하였습니다. 이를 통해 간단한 환경에서의 교시 자료를 바탕으로 더 복잡한 환경에서 일련의 목표 및 제약조건들로 목적된 동작을 생성해 낼 수 있음을 보여주었습니다. 이 연구는 좀 더 간단한 작업명령을 정의하는 데 공헌하여, 기존의 베이지안 비모수적 역강화 학습에 필요한 세부 작업의 수를 88%까지 줄이고, 기존의 최신 역강화 학습들보다 높은 모방 능력을 보여주었습니다. 이 연구는 로봇 학습 분야의 최신 학회인 'Conference on Robot Learning (CoRL)'에서 구두 발표되었습니다.

▲CoRL 2019에 소개된 Constraint-based Bayesian Non-parametric Inverse Reinforcement Learning (CBN-IRL) 연구

두 번째는 자연어 처리와 의미론적 상태 추론을 이용한 작업 계획입니다. 사람의 작업명령은 대부분 자연어를 이용하여 로봇에게 전달되며, 이러한 명령을 해석하고 수행하기 위해 로봇은 사람이 사용하고 있는 작업환경에 대한 의미 지식을 이해하여야 합니다. 예를 들어 “무거운 박스 가져와”와 “좌측 끝 상자 가져와” 등을 수행하기 위하여 로봇은 무거움 및 상대적 위치에 대한 의미를 이해하여야 합니다. 이를 위해, 저는 '베이지안 멀티모달 의미 지식 추론(Bayesian Multimodal Semantic-knowledge Estimation)' 알고리즘을 제안하여 사람으로부터의 자연어 입력과 환경과의 물리적 상호작용을 통해 물체에 내재한 의미 상태를 추론하고 강인한 추론을 위하여 지식을 개선해 나갈 수 있게 하였습니다. 

이와 관련된 연구는 미국 육군에서 진행하고 있는 Robotics Collaborative Technology Alliance (RCTA) 프로그램에 활용되어 실제 전장에서 병사가 위험물을 로봇과의 실시간 협업을 통해 조사할 수 있는 중요한 기술로 인정받았으며, 로봇전문저널인 'IJRR(The International Journal of Robotics Research)'을 통해 발표되었습니다. 이의 후속 연구로써 좀 더 환경변화에 강인하고 효율적인 작업 계획을 위하여 시제논리기반의 작업 및 경로계획법(task-and-motion planning) 방법론을 KAIST에 와서 협업을 통해 진행하였습니다.

▲2019년 미국 해군캠프에서의 RCTA 캡스톤 中

Q. 일본과 미국에서 모두 공부하셨는데 미ㆍ일 모두 로봇 선진국입니다. 우리가 로봇 강국으로 가기 위해 그들에게서 배워야 할 점이 있다면 무엇이었나요?

먼저, 일본의 경우 국내 로봇 연구 및 개발 저변이 아닐까 싶습니다. 로봇에 대한 대중의 관심이 매우 높고, 전국 학교들에서 양질의 연구가 진행되고 있어 자대 대학원으로 진학하는 학부생이 매우 많습니다. 이를 통해 국내 학회만으로도 충분한 양과 질의 연구를 공유하고 발전시킬 수 있는 저변을 가지게 되었다는 점은 우리가 눈여겨봐야 할 점입니다. 또한, 세계적 로봇 연구자, 예를들어 스테판 스칼 박사(Dr. Stefan Schaal), 제임스 커프너 박사(Dr. James Kuffner), 잰 피터스 교수(Prof. Jan Peters) 등이 과거 일본에서 수 년간 연구를 진행했었던 점을 보았을 때 해외 우수 인재 유치를 통한 국내 연구 역량의 발전에 우리가 힘을 쓰고 있는가를 생각해보고 배워야 할 것입니다.

미국의 경우 체급의 차이가 있어 배울 점이 있어도 적용하기 어렵지만, 하나를 꼽자면 연구에 대한 가치 기준입니다. 점수화를 통한 연구 평가가 아니라 연구의 중요성, 필요성 등의 가치를 중요시하고 이를 평가할 수 있는 인력풀을 가지고 같이 평가, 경쟁, 발전하는 면은 우리의 로봇 연구 질의 향상과 저변 확대를 위해 꼭 배워야 할 점일 것입니다.

Q. 로봇 연구자로서 앞으로의 꿈과 목표가 있다면?

제 목표는 사람과 공존하고 협력 가능한 로롯 팀메이트를 만드는 것입니다. 이러한 로봇은 사람과 같은 수준의 지능을 보유하고 있어야 하며, 우리가 아는 상식과 규범을 갖고 행동을 할 수 있어야겠습니다. 이를 위해 로봇은 사람처럼 학습과 추론을 통해 지식을 쌓아나가야 할 것입니다. 기존의 기하학적 수준의 학습 스킬과 환경에 대한 모델 정보는 계산 및 저장 능력의 한계에 부딪힐 것이며, 따라서 사람처럼 어떤 문제를 간략화하고 대체물로 사고하는 의미기반의 이해 능력이 필요해질 것입니다. 이를 위해 저희 연구실에서는 의미기반 학습 및 추론을 통한 로봇 브레인의 연구를 미래에 추진해 나갈 계획입니다. 이는 의미기반의 물리 추론, 기계 상식 등 다양한 연구들과 결합하여 한 단계 더 높은 복잡한 작업을 가능케 할 것입니다.

Q. 최근 로봇에 대한 관심이 늘어나면서 이를 연구하려는 학생이 늘고 있습니다. 선배로서 후배에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

먼저 로봇은 다학제 분야이고 이를 위하여 전공을 넘어선 다양한 학습을 선행하라고 조언하고 싶습니다. 최근, 많은 학생에게서 강화학습기반의 로보틱스를 연구하고 싶다고 연락을 받습니다만, 안타깝게도 대부분의 학생들이 각자의 전공에 편중된 학습만을 해왔기 때문에 원하는 연구에 바로 참여하기 어려운 상태라는 것입니다. 예를 들어 전산과 학생이 기구학, 제어 등에 대한 기본 지식 없이 매니퓰레이션 학습을 연구하는 것은 무리가 있고, 기계과 학생이 인공지능(AI), 기계학습에 대한 지식 없이 학습 기반의 제어연구를 하는 데에는 많은 시간이 필요합니다. 따라서, 원하는 연구를 하기 위해서는 학사 또는 석사과정에서 최대한 많은 경험과 폭넓은 공부를 하는 것을 강력하게 추천합니다.

Q. 연구자로서 한국 로봇산업이 한 단계 더 발전하기 위해 조언을 해 주신다면...

어려운 질문입니다만, 개인적으로 우리의 로봇산업이 한 단계 더 발전하기 위해서는 공격적인 규제 완화를 통해 다른 나라보다도 먼저 서비스용 로봇들이 우리 사회에 공급될 수 있어야 한다고 생각합니다. 예를 들어, 배달로봇을 실제 환경에 투입 개발하는 데에는 안전, 개인정보보호 등 많은 규제로 인해 어려움이 있다고 합니다. 로봇산업을 어느 나라보다도 빠르게 성장시켜 시장을 선점시키기 위해서는 공격적인 연구, 개발이 가능한 제도적 장치, 사회로의 빠른 투입을 통한 다양한 계층의 기업육성 및 해외 진출, 학교와의 협업을 통한 인력풀의 확대, 이를 통한 연구 개발능력 제고 등의 선순환이 일어나야 할 것입니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

저의 박사후 연구과정 지도 교수님이신 MIT의 니콜라스 로이(Nicholas Roy) 교수님으로부터 많은 영향을 받았습니다. 박사과정에서는 연구 및 개발에 중점을 두고 생활하였지만, 박사후과정에서는 로이 교수님으로부터 연구의 정의와 지도 방향 등의 철학에 관해 배울 수 있었습니다. 그중에서도 제일 중요하다고 생각하고 있는 것은 “연구의 XYZ”라고 하는 연구의 정의 과정입니다. 여기서, x는 어떤 문제를 풀 것인가, y는 그것은 얼마나 가치가 있고 어려운가, z는 제안할 수 있는 솔루션은 무엇인가를 나타내며, 이에 더해 무엇을 로봇을 통해 보여줄 수 있는가를 고민함으로써 더 좋은 연구를 진행할 수 있도록 지도하는 것입니다. 제 인터뷰를 읽는 학생들이 있다면 연구를 시작할 때 항상 고민해보시기 바랍니다.