연구원 인터뷰
비디오를 이해하는
인공지능을 개발합니다
김은솔 연구원

안녕하세요. 저는 카카오브레인의 리서치 사이언티스트, 김은솔입니다.


“비행기 덕후가 컴퓨터공학도의 길을 선택한 이유”

저는 물 좋고 산 좋은 시골인 충청북도 제천에서 자랐습니다. 어렸을 때부터 기차, 자동차 같은 거대한 기계를 좋아했는데요, 그중에서도 특히 비행기를 좋아했답니다. 고등학교 1학년 제주도로 수학여행 떠날 때 처음 타본 거라 전투기나 여객기가 이착륙하는 모습은 영화로 본 게 다예요. 비행기가 나오는 영화라면 기를 쓰고 찾아봤습니다. 원래 한 번 본 영화는 절대 다시 보지 않는데 오래된 영화인 <탑건(Top Gun)>과 <진주만(Pearl Harbor)>을 각각 5번이나 다시 보며 비행기가 나오는 씬만 골라서 봤어요. 틈만 나면 보잉(The Boeing Company)이나 에어버스(Airbus) 같은 비행기 제작사 홈페이지도 들락날락했습니다. ‘한눈에 사랑에 빠졌다’, 그 표현이 딱 들어맞을 정도로 비행기를 좋아하게 된 이유는 지금도 잘 모르겠네요.

비행기를 타보고 싶어서 공군사관학교 진학도 고민했었는데요, 운동을 못 해서 바로 포기했습니다. 비행기 제조 회사 사장이라는 꿈도 잠깐 꾸기도 했죠. 비행기를 직접 모는 것도 좋지만, 결론적으로는 비행기를 만들거나 비행기를 정비하고 또는 항공 교통을 관리하고 통제하는 등 관련된 산업에서 팀으로 일하는 것 또한 멋지다는 생각을 했습니다.

비행기 덕질 경험은 대학교 전공 선택에 많은 영향을 미쳤습니다. 각 전공과 교과목에 관한 정보를 토대로 비행기 설계 쪽과 가장 관련성이 높은 전공을 찾아봤습니다. 가장 연관성이 높은 전공을 꼽아보자면 누가 봐도 ‘기계항공공학부’죠. 하지만 고등학교 담임선생님의 권유로 ‘전기컴퓨터공학부’도 함께 고려하게 됐습니다. 비행기를 구성하는 하드웨어만큼이나 비행기를 움직이게 하는 소프트웨어도 중요하다는 말씀 때문이었죠. 전기컴퓨터공학부랑 기계항공공학부, 두 곳을 두고 제 진로에 진지하게 탐구해봤습니다. 소프트웨어와 관련된 많은 것을 배울 수 있겠다 싶어서 최종적으로 서울대학교 전기컴퓨터공학부 진학을 결정합니다.


“생물학적 원리를 컴퓨터에 적용해보고자 인공지능을 공부했습니다”

사실 비행기 설계라는 꿈을 완전히 버리진 못했어요. 그래서 컴퓨터공학과 수업을 들으면서 틈틈이 기계공학과 수업도 꼬박꼬박 챙겨 들었습니다. 사람의 신경세포 작동 원리에서 논리성을 발견했던 경험을 더듬어 생물학 수업도 들으며 진짜 하고 싶은 정보를 탐색했습니다.

아쉽게도 기계과 수업 성적이 잘 나오지 않자 비행기 설계를 향한 꿈은 미련 없이 접었어요. 반면, 생물 수업은 들으면 들을수록 재미를 느끼면서도 나름대로 좋은 성적을 받았습니다. 인지과학, 뇌 마음 행동, 생물 쪽 수업을 들으며 컴퓨터와 생물 수업을 통해 인간의 사고방식이나 정보처리 방식을 배웠어요. 그러다가 이런 원리를 컴퓨터에 적용해보면 컴퓨터도 인간과 비슷한 수준의 지능을 가질 수 있겠다 싶었습니다. 컴퓨터와 생명과학을 접목할 수 있겠다 싶어서 인공지능을 유심히 봤습니다.

학부 시절 대기업과 연구실에서 인턴으로 일해보며 인공지능을 공부하기 좋은 환경을 탐색해봤습니다. 연구실 소속으로 공부하면서 관련 기술 분야에서의 실력을 쌓자는 게 저의 결론이었습니다. 이윽고 장병탁 교수님이 이끄는 바이오 지능 연구실의 석박사 통합 과정에 들어갑니다.

대학원생 초창기 시절에는 미국과 독일에 소재한 대학교와 협력 연구를 진행하기 위해 파견 갈 기회가 많았습니다. 미국에서는 인디애나 대학교(Indiana University)의 첸유(Chen Yu) 교수님 연구실에서 인지과학 실험을 진행하며 실험 프로토콜과 장비 사용법을 배웠습니다.

정부에서 지원하는 한독교류 사업을 통해 뮌헨 공과대학교(Technische Universität München)와의 협력 프로젝트도 2년간 진행했습니다. 당시 우리 연구실에는 로봇이 없었어요. 그래서 한국에서 알고리즘을 만들고 나서 로봇을 갖춘 독일 연구실에 찾아가 알고리즘이 잘 동작하는지를 테스트하는 과정을 거쳐야만 했습니다. 연구 목표는 사람과 로봇이 자연스럽게 상호작용하는 기계학습 개발이었습니다. 조금 더 자세히 설명하자면, 카메라로 찍은 사람의 움직임을 모방하여 로봇의 관절을 움직이는 볼츠만 머신[1] 기반 알고리즘을 만드는 거였죠.

한국에서만 있었으면 몰랐을 독일 대학의 연구 환경은 인상 깊었습니다. 한국에서는 연구 시설에 대한 안전 관리를 이유로 연구실 내부에 맥주를 두지 말라고 안내해요. 그런데 독일에서는 수억 원짜리 로봇이 설치된 연구실에 맛있는 독일 맥주를 상자째로 갖다 놓고 먹더라고요. 또 한국 대학원생들이 쓰는 것보다 훨씬 더 넓은 공간을 연구실로 쓰죠.

대학원 시스템도 달랐습니다. 독일에서는 학생과 교수가 연구 계약을 맺습니다. 교수가 특정 주제에 관해서 공고를 내면 학생이 지원합니다. 대학원 입학 시점에 이미 연구할 주제가 명확하다고 볼 수 있죠. 반면, 한국 대학원 시스템에서는 연구 주제 탐색에 1~2년 정도 시간을 들이고 나서 자신이 원하는 연구 주제를 선정할 수 있습니다. 학생 때는 독일 방식이 좋다는 생각을 했어요. 연구 주제가 명확한 만큼 시행착오의 시간을 줄일 수 있다고 판단한 거죠. 시행착오 또한 과정이라는 걸 알게 된 이후에는 한국에서처럼 전공 탐색에 충분히 시간이 주어지는 것도 나름 합리적인 방식인 듯합니다.

독일과의 협력 연구를 계기로 전공 분야를 결정하게 됐어요. 사람의 움직임을 모사하는 로봇 관절을 만들기 위해서는 우선 동영상의 내용을 분석하는 게 중요한 과제였습니다. 사람의 행동을 여러 대의 카메라로 촬영을 했는데요, 여기서 얻은 데이터를 멀티모달 순차 데이터(multimodal sequential data)[2]라고 일컫습니다. 저는 이 데이터를 학습해 추론하는 알고리즘을 만들어보고 싶었죠.


“카카오브레인의 자기 주도적인 연구개발 문화에 매료됐습니다”

박사 학위를 받을 시점에는 향후 진로에 대해 그다지 깊게 생각하지는 않았습니다. 졸업한다는 그 사실만으로도 행복했거든요. 우선은 박사 논문심사(종심)가 끝나면 그동안 공부하느라 제대로 놀지 못했던 만큼 원 없이 놀아야겠다는 생각이 머릿속에 가득 차 있었죠. 졸업하기 3~4개월 전부터 구직활동을 시작하는 남들과는 다른 선택지를 집어 든 저는 집에서 충분히 휴식을 취하며 앞으로 삶을 살아가는 방식에 대해 진지하게 고민했습니다.

우선, 교수가 되어 학생을 가르치기에는 제 역량이 아직은 부족하다고 판단했습니다. 하지만 문제를 정의하고 세분화한 뒤 이를 차례대로 해결하는 데에는 충분한 능력을 갖췄다고 분석했죠. 교육자의 삶을 사는 쪽 대신, 기업에서 다양한 일을 해봐야겠다고 결심한 이유입니다.

아직은 인공지능으로 어떤 가치를 만들 수 있을지, 수익은 낼 수 있을지는 아무도 모른다고 보고 있습니다. 인공지능의 효용성을 한정할 수 없는, 이처럼 불확실성이 높은 상황에서는 무엇인가를 충분히 탐색할 수 있는 환경이 무엇보다 중요하다고 판단했습니다. 기업을 알아볼 때 문제를 주도적으로 풀 수 있는 연구 환경이 갖춰졌는지를 중점적으로 파악한 배경이죠. 물론 필요에 따라서는 회사가 나아가려는 방향에 따라 제 모든 역량을 집중시킬 것입니다만, 그 시점이 오기 전까지는 자율성을 갖춘 곳에서 연구/개발하는 것이 좋겠다 싶었습니다.

리서치를 통해 알게 된 카카오브레인은 유능한 기계학습 연구자와 개발자가 모인 곳이었어요. 회사와 합의된 선에서 연구 자율성을 보장받을 수 있다는 이야기를 듣고 카카오브레인 합류를 결정했습니다.


“비디오를 이해하는 인공지능을 개발합니다”

카카오브레인에서 리서치 사이언티스트로 활동하고 있습니다. 브레인에서는 비디오, 멀티모달 데이터를 학습시키는 기계학습 기술과 이를 응용하는 방법을 주로 연구하고 있어요.

비디오 데이터는 이미지, 소리, 텍스트 각각의 시계열 데이터가 결합해 의미를 구성합니다. 웨어러블 기기(wearable device)를 활용한 상황인식이나 행동 분류, 혹은 비디오 질의응답(QA) 같은 작업에 이 데이터가 활용되죠. 저는 이런 비디오를 분류하는 문제를 해결해보고 싶었어요. 그 결과, 카카오브레인 연구 인턴이었던 김종석님과 서울대학교 장병탁 교수님 연구실 학생(온경운, 허유정, 최성호, 이현동)과 함께 팀(KANU)을 이뤄 출전한 Youtube 8M Challenge( 유튜브 챌린지)에서 최종 5위에 오르는 성과를 거뒀습니다.

(더 자세히 보기 - 유튜브 8M 챌린지 도전기(aka.삽질기))

이처럼 동영상 분야에 지속해서 관심을 두는 이유는 바로 오늘날 많은 대중이 소비하는 콘텐츠 포맷이기 때문입니다. 오늘날 어린아이가 처음으로 접하는 매체는 유튜브(Youtube)일 정도로, 콘텐츠를 소비하는 방식과 검색하는 방식 모두 동영상 위주로 급격히 재편되고 있습니다. 이런 가운데 동영상을 가지고 도전해볼 만한 가치 있는 서비스에 대해 많은 고민을 해보고 있습니다.


“인공지능이 인간에게 도움이 된다는 인식을 심는 데 이바지하겠습니다”

카카오브레인에서 가장 많이 성찰하게 된 부분은 회사에서 주어지는 ‘자율’에는 책임이 수반된다는 점입니다.

입사 초기에는 자유로운 분위기에서 자율적으로 연구하는 환경이 마냥 좋았습니다. 연구 주제에 제약이 없다는 건 리서처에게 제일 큰 행복이죠. 학교 연구실에서 하던 연구를 이어서 계속할 수 있었고 인공지능과 관련된 것이라면 그 어떤 주제로라도 논문을 쓸 수 있었습니다. 다른 학교의 연구원과 협력 연구도 가능했죠. 인공지능 연구를 도와주는 브레인 클라우드 같은 시스템 덕도 많이 봤습니다.

하지만 시간이 지나면서 회사라는 곳에서 제가 맡아야 할 역할과 그에 따른 책임을 느끼며 목표 의식과 주인의식을 가지며 연구에 매진하게 됐습니다. 단순히 회사에 이바지하려는 목적으로만 주도적으로 연구를 해나가고 싶은 건 아니에요. 제 인생을 주체적으로 살아가는 데에도 큰 도움이 되는 태도임을 견지했습니다.

그간 조금 더 높은 정확하게 문제를 푸는 알고리즘을 만드는 게 무슨 의미가 있나 싶어서 회의를 느끼기도 했습니다. 인공지능이 사람을 상대로 한 경기에서 이겼다는 식의 기삿거리는 대중에게 막연한 불안감과 두려움을 줄 뿐이죠. 유튜브 챌린지 수상을 계기로 어떤 인공지능을 만들어야 하는지 곰곰이 생각해봤어요. 제가 잘할 수 있고, 또 더 잘하고 싶은 게 바로 비디오 분석이에요. 이에 시각장애인을 위해 시각 정보를 효율적으로 이해하는 기술을 만들어보면 좋겠다는 판단이 섰습니다. 아직 구체적인 계획은 없어요. 인류 사회에 보탬이 되는 기술을 만드는 쪽으로 방향성을 설정한 것뿐이니까요. 하지만 저같이 연구에 임하는 사람이 많아지고 좋은 성과를 많이 만들어나간다면 인공지능을 둘러싼 사람들의 인식이 점차 좋은 쪽으로 개선될 거라 기대합니다.



참고
[1] 관측 데이터에 포함되어 있는 패턴을 추출하고, 추출된 패턴으로부터 새로운 데이터를 학습할 수 있는 확률모델
[2] 이종(heterogeneous)의 시계열 데이터
이 글을 쓴 사람들
epsilon.kim
김은솔 | 인터뷰이
사람의 뇌를 닮은 기계학습 알고리즘을 만들고자, 인지과학, 뇌과학, 기계학습, 인공지능 기술을 (넓고 얕게) 공부했습니다. 실제 생활에서 수집한 비정형화 시계열 데이터 모델링을 연구한 경험을 바탕으로, 카카오브레인에서는 대용량 비디오 데이터를 분석하고 있습니다. 인간의 삶에 도움이 되는 인공지능 기술을 만들고자 오늘도 술 한잔 먹고 힘내려고 해요!
samantha.lee
이수경 | 글,정리
2016년 3월 알파고와 이세돌 9단이 펼치는 세기의 대결을 두 눈으로 목도한 이후 인공지능을 제대로 공부해봐야겠다고 결심했습니다. 인공지능 본진이자 연구소인 카카오브레인으로 걸어들어온 이유죠. 인공지능 기술과 이로 인해 바뀔 미래 사회를 다루는 글을 통해 사람들과 소통하고자 합니다.