AI in pop-culture
인공지능이 클래식을 작곡한다면?
2018/06/11 by 이수경

이슈 | 인공지능 작곡가 에이바(AIVA)

이슈 | 스포티파이의 가짜 작곡가 의혹

[ 사진 1 ] 런던 교향악단이 컴퓨터가 만든 곡을 녹음하는 모습 ©M.Dia

2012년 7월, 런던 교향악단(London Symphony Orchestra)은 ‘심연 속으로(Transits-Into an Abyss)’이라는 곡을 연주했다. 지난 1904년부터 활동을 시작한 런던 교향악단은 오랜 역사와 전통을 이어오며 연주 실력을 꾸준히 높여온 끝에, 현재는 전세계에서 유명한 관현악단 중 하나로 손꼽히고 있다. 이런 세계적 수준의 오케스트라가 순전히 기계가 만든 곡을 연주하며 세간의 주목을 받았다.

이 곡의 작곡자는 이아모스(Iamus)다. 아폴론(apollo) 신과 에우아드네(euadne) 사이에서 태어난 아들 이름에서 따온 이름이다. 새의 언어를 이해하는 능력을 갖춘 이아모스의 이름을 따서 작곡 능력을 갖춘 컴퓨터의 특징을 단적으로 표현한 것으로 보인다.

아쉽게도 연주 실황을 녹화한 동영상을 찾아볼 수는 없었다. 대신 2012년 4월 영국 런던의 엔젤 레코딩 스튜디오(Angel Recording Studios)에서 진행된 데뷔 앨범 녹음 현장에서 ‘Tránsitos II’를 연주하는 유튜브 영상을 찾았다. 당시 관객들이 느꼈을 법한, 당혹스러우면서도 놀라운 감정을 느끼는 데 충분한 자료화면이라고 생각한다.

이는 인공지능이 음악을 만드는 시대가 열렸음을 보여주는 극명한 사례다. 계산, 분석, 인지 영역에서는 이미 인공지능이 인간의 수준을 뛰어넘었다. 하지만 예술적 창의성은 오직 인간만이 할 수 있다고 오랫동안 믿어왔다. 이는 지난 2004년 개봉한 영화 <아이, 로봇(I, Robot)>에서 스푸너 형사(윌 스미스)와 로봇 서니가 나눈 대화에서 여실히 드러난다. “로봇이 교향곡을 쓸 수 있어? 로봇이 캔버스에 멋진 명화를 그릴 수 있냐고?”라는 스푸너 형사의 질문에 서니는 되려 “그럼 당신은 할 수 있나요?”라고 묻는다. 그로부터 14년 후 현재, 인공지능은 인간에 견주어도 손색이 없는 수준의 예술 작품을 만들어내고 있다. 그중에서도 클래식 음악을 만드는 데 있어 탁월한 실력을 발휘하고 있는 인공지능에 대해 알아보고자 한다.


컴퓨터 작곡의 역사

컴퓨터가 발명되기 이전에는 수학을 이용해 곡의 형식이나 구조를 우연히 결정하는 작곡 방법이 존재했다. 피아노 소나타 11번 2악장(Piano Sonata k.331 2nd Movement)은 모차르트가 음악 주사위 게임(Musical Dice Game)을 활용해 구성한 대표적인 사례 중 하나다. 이 게임은 주사위 2개를 던져서 나온 합을 구해 숫자에 따라 음표를 배열하는 방식이다. 한편, 하이든은 난수(random number)를 사용했으며, 바흐는 피보나치수, 황금비를 활용해 작곡 활동을 펼쳤다.

작곡하는 컴퓨터를 만들려는 첫 시도는 일리노이 대학교(University of Illinois)에서 개발한 일리악(illiac)이다. 레자넨 힐러(Lejaren Hiller)와 레너드 아이작슨(Leonard Issacson)은 1955년부터 1956년까지 16세기 작곡가들의 곡상을 분석, 순수히 확률표만을 이용해서 현악 4중주를 위한 일리악조곡(Illiac Suite)을 수학적으로 구성했다. 일리악조곡은 16세기 작곡가인 팔레스트리나(Palestrina)의 작곡법과 같이 엄격한 화성법을 따랐다.

미래학자인 레이 커즈와일(Ray Kurzweil) 또한 클래식 음악작품을 분석해 작곡 스타일을 뽑아내는 패턴인식 소프트웨어 프로그램을 개발했다[1]. 1965년 미국 CBS에 출연한 커즈와일은 이 컴퓨터 프로그램이 만든 악보를 자신이 직접 피아노로 연주하기도 했다. 해당 영상에서 패널 중 한 명인 헨리 모건(Henry Morgan)의 “컴퓨터가 작곡한 것이냐?”라는 질문에 커즈와일이 “그렇다”라고 답하자 관객에서 환호성이 흘러나온다.

이를 계기로 유명세를 탄 커즈와일은 같은 해 국제과학박람회(International Science Fair)에서 발명가로 처음 수상했으며, 웨스팅하우스과학경진대회(Westinghouse STS)에서도 상을 받았다. 다만 레딧(reddit)에서 이뤄진 논의를 봤을 때 커즈와일이 만든 컴퓨터 프로그램은 앞선 예제처럼 확률적 접근 방식(마르코프 연쇄(Markov chain))을 취했을 것으로 보인다.

1980년대 이후에는 기계학습 및 최적화 이론을 활용해 작곡을 시도하는 움직임이 일어났다. 컴퓨터 과학자인 케말 에비오글루(Kemal Ebcioglu)는 바흐 스타일의 음악을 만드는 전문가 프로그램에 관한 논문을 내기도 했다. 프로그램은 바흐가 작곡한 4곡을 학습해 스스로 찾은 350가지 규칙에 따라 멜로디를 만들어냈다.

기계학습 기술이 정교해지면서 컴퓨터가 만들어내는 음악의 완성도 또한 높아졌다. 이제 컴퓨터는 현존하는 음악으로부터 작곡 규칙과 지침을 추론하는 수준에 이르렀다. 소니 컴퓨터 과학 연구실(Computer Science Laboratory, CSL)의 인공지능 연구원인 프랑수아 파크헤트(François Pachet)가 고안한 컨티뉴에이터(Continuator)가 대표적인 예다.

지난 2004년 컨티뉴에이터는 음악 튜링 테스트에 참여했다. 제작자인 파크헤트는 재즈 피아니스트인 알버트 반 비넨달(Albert Van Veenendaal)와 컨티뉴에이터의 즉흥 피아노 연주를 평가해달라고 두 명의 재즈 비평가에게 요청했다. 알버트가 짧은 후렴 부분을 연주하고 나면, 컨티뉴에이터가 이에 화답했다. 그 결과, 비평가들은 누가 어떤 파트를 연주하고 있는지 전혀 알아채지 못했다.

또 다른 사례는 바로 에밀리 호웰(Emily Howell)이다. 산타크루즈 캘리포니아 대학교(University of California Santa Cruz)의 음악 교수인 데이비프 코프(David Cope)는 이 프로그램을 설계하는 데 40년을 쏟아부었다. 에밀리는 모차르트와 베토벤과 같은 고전 작곡가의 스타일을 재현할 뿐만 아니라, 자신만의 스타일로 음악을 만들어낼 수 있었다. 그러나 앞서 언급한 이아모스와는 달리, 에밀리 호웰의 음악 연주를 거부하는 오케스트라도 있었다. 에밀리 호웰은 2010년 첫 디지털 싱글을 낸 바 있다.


그리고 AI 작곡가, ‘에이바’

2012년부터 주목받기 시작한 딥러닝(deep learning)을 활용해 작곡 인공지능을 만드는 스타트업이 속속들이 나오기 시작했다. 그중에서도 가장 유명한 스타트업은 바로 영국 런던에 위치한 에이바(Aiva)다. 엔비디아(NVIDIA)의 GTC 2017에서 키노트 오프닝에 등장한 음악을 작곡하는 등 유명 기술 기업과 협력하면서 그 이름을 알리기 시작했다. 물론 에이바가 작곡을 담당해도 오케스트레이션(orchestration)[2]이나 배열, 제작에는 인간 전문가가 개입한다. 이 곡의 연주자 또한 인간만으로 구성된 교향악단이다. 에이바의 첫번째 앨범인 제네시스(Genesis)를 통해 인간 예술가와 공동으로 작업한 사운드트랙을 들어볼 수 있다.

에이바의 기술은 강화학습(reinforcement learning) 기법을 활용하는 딥러닝 알고리즘에 기초한다. 강화학습에서 현재 상태에서 특정 행동을 취했을 때 받을 수 있는 보상의 합을 구하는 함수인 Q-함수를 구하는 데 딥러닝을 활용한다. 이를 딥강화학습(reinforcement learning)이라고 한다. DQN(deep Q networks)와 DDQN이 대표적인 구조로 잘 알려져 있다.

딥러닝을 통해 인공지능은 멜로디의 패턴이나 사람의 얼굴에 있는 특징과 같은 고수준의 추상화를 이해하고 이를 모델링할 수 있다. 한편 강화학습은 누적 보상을 최대화해 소프트웨어 에이전트(AI)가 특정 목표에 도달하기 위해 취해야 할 조치를 결정하도록 가르친다. 감독학습과 달리 강화학습에서는 라벨링된 입력값과 결과값 데이터 쌍을 필요로 하지 않는다. 이로써 인공지능이 자신만의 방식을 찾아 명시적인 지시를 받지 않고도 성능을 개선할 수 있다. 음악과 같은 창의적인 예술에서 발견되는 다양성과 변형을 보다 쉽게 포착할 수 있는 이유다.

강화학습

강화학습(reinforcement learning)은 기존 지도학습∙비지도학습의 정적인 학습방법과 달리 에이전트(agent)가 직접 환경변수들을 탐색(exploration)하며 이에 대한 보상(reward)을 확인, 최적의 행동(action)에 대한 정책(policy)을 찾아가는 생명체의 학습과 유사한 학습 과정을 이용하는 방법론이다.

[ 사진 2 ] 에이바의 첫번째 디지털 앨범, 제네시스

에이바 팀은 클래식 음악에만 집중하기로 전략적인 결정을 내렸다. 대다수의 클래식 음악의 저작권이 소멸했기 때문이다. 저작권은 원칙적으로 저작자 사후 70년까지 보호된다. 모차르트나 하이든, 베토벤과 같은 클래식 음악 작곡자 대부분은 훨씬 더 이전에 사망했으므로, 에이바 팀은 자사 인공지능을 계속해서 무료로 학습시킬 수 있다.

에이바가 클래식 음악에 집중하는 또 다른 이유는 클래식이 영화, 게임, 광고 등 다양한 시청각매체에서 가장 많이 사용되는 음악 장르이기 때문이다. 자사가 자체적으로 생산한 인공지능 클래식 작품을 배경음악(BGM)으로 제공해 상업적 가치를 높일 수 있을 것으로 판단한 것으로 추측된다. 실제로 에이바는 작곡가로서 법적인 자격을 얻은 최초의 시스템이다. 프랑스와 룩셈부르크의 음악저작권협회(SACEM)에 그 이름을 당당히 등록했다. 모든 창작물에 대해 그 저작권이 인정된다는 의미다.

참고로, 클래식 음악을 연주한 실연자와 이 연주음을 음반에 담은 음반제작자에게는 별도의 저작인접권[3]이 부여된다. 즉, 해당 음반을 합법적으로 사용하기 위해서는 연주자와 음반 제작자로부터 허락을 받아야 한다는 의미다. 그 대신 클래식 음악을 직접 연주해 녹음한 버전은 자유롭게 활용할 수 있다.


AI 작곡가를 향한 상반된 시선 : 로열티

인공지능 작곡가의 탄생을 둘러싸고 상반된 의견이 공존한다. 바로 ‘로열티(저작권료)’에 관한 부분이다.

인공지능 작곡 소프트웨어를 활용한다면 인간 작곡가는 작업 속도를 높일 수 있고, 결과적으로는 자신의 경제적 수입을 높일 수 있을거라 기대된다. ‘작곡(compose)’ 버튼 한 번만 누르면 전문가 수준의 오리지널 곡이 만들어진다. 작곡에 걸리는 시간은 단 몇 분에 불과하다. 인간 작곡가는 곡을 가다듬고, 곡을 출시한다. 빠르게 변화하는 대중의 취향을 고려해야 하는 상황에서는 다작이 타율(성공)을 높이는 데 큰 도움이 된다. 인공지능은 다작 속도를 높이는 수단이 될 수 있음을 유추해볼 수 있음은 물론이다. 

베토벤이 작곡 작업에 진척이 없어서 생기는 스트레스를 풀고자 괴성을 지르거나 물건을 집어 던지고, 심지어는 벽에 머리를 박거나 머리에 물을 뿌려 열을 식혔다는 점을 감안한다면, 인공지능이 창작의 고통을 줄여주는 데도 일정 부분 도움이 될 수 있다. 물론 현대 음악의 작곡 방식은 악상이 떠오를 때까지 인고의 시간을 견뎌내야 하는 고전 낭만 시대의 방식과는 다를 수는 있다.

또는 1인 미디어나 중소규모 드라마 및 영화 제작사는 한정된 예산을 가지고도 영상에 삽입할 음원을 확보할 수 있을 것으로 보인다. 사용권뿐만 아니라 저작권자로서 그 권리를 행사할 수 있는 것은 물론이다. 멜로믹스 미디어(Melomics Media)를 그 예시로 들어볼 수 있다.

멜로믹스 미디어는 이아모스를 만든 프란시스코 비코(Francisco J. Vico)가 2012년 설립한 회사다. 이 회사는 이아모스를 비롯한 작곡 인공지능이 만든 음악을 온라인 스토어에서 판매하는 플랫폼을 개발하고 있다. 여기에서는 한 곡을 2달러에 구매할 수 있는 것은 물론, 구매한 음원에 대한 모든 권리까지 위임받을 수 있다.(무슨 연유에서인지 이 글을 작성하는 이 시점에 멜로믹스 미디어 홈페이지가 제대로 열리지 않는다).

반면, 전문 인간 작곡가가 설 수 있는 자리가 줄어들며 자연스럽게 이들 몫으로 돌아갈 로열티가 급감하는 게 아느냐는 우려 어린 시선도 존재한다. 뮤직 비즈니스 월드와이드(Music Business Worldwide)가 스포티파이(Spotify)를 상대로 제기한 의문이 이를 뒷받침한다. 스포티파이가 인간 음악가의 몫으로 돌아갈 로열티를 낮추고자 인공지능 음악 소프트웨어를 사용했을 수 있다는 게 기사의 논지다.

음악 스트리밍 서비스인 스포티파이에서는 등급에 따라 음반사 또는 저작자에게 로열티를 지급한다. 무료 사용자가 듣는 음악에는 더 낮은 사용료율을, 유료 사용자가 듣는 음악에는 더 높은 사용료율을 적용하는 구조다. 이렇다 보니 음반사는 상대적으로 수익이 낮은 무료 서비스에 자신들의 곡을 제한적으로 서비스하길 끊임없이 요구해왔다.

이런 가운데 스포티파이는 지난 2017년 CSL에서 컨티뉴에이터를 만든 파크헤트를 영입했다. 스포티파이가 인공지능 작곡가 소프트웨어를 만들고자 전문가를 영입했다는 점을 자연스럽게 유추해볼 수 있는 대목이다. 이 시기와 맞물려 스포티파이에는 실제로 존재하지 않은 작곡가와 밴드가 만든 음악이 다량 재생되고 있었다. 제작자의 이름은 편안한 피아노(Peaceful Piano)’나 ‘앰비언드 칠(Ambient Chill)"와 같은 식이다. 인공지능 소프트웨어가 강점을 보이는 무드음악이나 선율이 없는 음악 장르와 관련성이 높다는 점에서 봤을 때, 이들 제작자는 인간이 아닐 공산이 크다.

이어 뉴욕타임즈(The New York Times)는 스포티파이가 인간 작곡가에게 통상적으로 지급되어야 할 액수보다 훨씬 낮은 로열티를 이들에게 제공하고 있다고 보도했다. 실존하지도 않은 제작자들이 올린 트랙은 5억 번이나 재생됐다. 표준 사용료율을 적용한다면 300만 달러(32억 원)의 로열티를 지급해야 하는 규모다. 이처럼 더 낮은 사용료율이 책정된 곡을 사람들이 많이 듣는다면, 스포티파이는 새롭게 계약을 맺는 음반사에 시장 논리에 따른 사용료율 인하를 요구할 수 있게 된다.

이에 대해 스포티파이는 파크헤트가 인간의 작곡 활동을 돕는 도구를 만들고 있다고 해명했다. 그리고 문제의 트랙이 로열티 지급을 회피하고자 가짜 아티스트가 만든 것처럼 꾸민 것은 아니라고 부정했다. 가명으로 올라간 트랙이긴 하더라도 현업에서 활동하는 인간 작곡가가 만든 것이라는 설명이다. 물론 의심 어린 시선이 완전히 가신 것은 아니다.


“AI는 인간 작곡가의 창작 활동에 날개를 달아줄 것”

그렇다면 음악가의 생존을 위해 음원 플랫폼이 인간 뮤지션이 만든 작품만 팔도록 하는 규정이나 노조가 있어야 할까? 항상 인간이 제작한 예술과 음악이 인공지능이 만든 것보다 더 가치 있다고 여겨야 할까?

인공지능이 만든 창작물의 판매 행위를 막을 근거는 사실상 전혀 없다. 자동화 시스템이 인간 택시 운전사, 트럭 운전사, 패스트푸드 아르바이트생을 대체하려는 조짐이 보이는 상황에서 경쟁력에서 뒤처지는 인간 작곡가의 자연도태는 어찌 보면 자연스러운 결과다(플랫폼이 가진 권력에 따르는 불평등은 논외다). 작곡이 본질적으로 선율, 리듬, 화성을 비롯한 음악적 재료를 활용한 일련의 조직적인 선택의 과정이라는 점에서 본다면, 대중이 더 원하는 음악을 만드는 인공지능 또한 인간에 비견할 창조력을 갖추고 있음은 물론이다.

그럼에도 불구하고, 인공지능이 인간 작곡가를 대체할 가능성은 사실상 낮을 것으로 보인다. 작품의 희소성 관점에서 보자면 예술적 가치가 결코 높다고 볼 수 없다는 지적이 이를 뒷받침한다. 이 세상에 단 하나만 존재한다는 관점에서 봤을 때 오리지널(original)은 인간이 예술 작품에 부여하는 특성이다. 공장에서 찍어낸 모나리자 그림이 루브르 박물관에 걸려 있는 원본과 비교해 그 가치를 인정받지 못하는 것도 바로 이런 이유 때문이다. 아울러 인간적인 노력을 들이지 않은 작품에 대해 사람들이 돈을 낼지 현재로서는 미지수다.

(자세히 보기 - 인공지능이 법률 문서를 검토한다면?)

사람과 인공지능이 서로를 대체하기보다는, 창조적인 잠재력을 발휘하는 데 필요한 조력자가 될 미래가 좀 더 가능성이 높다. 인공지능이 만든 음악을 활용하는 사람과 그렇지 않은 사람, 이렇게 두 부류의 작곡가가 공존하는 방식으로 말이다. 

에밀리 하웰을 만든 코프 교수는 음악은 여전히 인간이 주도할 것이라고 예상했다. 코프 교수는 “컴퓨터 또한 인간이 만든 산물이다. 그리고 음악을 만드는 프로그램도 인간의 창조물이다. 이 프로그램에 입력하는 학습 데이터(음악) 또한 인간의 것이다. 컴퓨터가 음악을 만드는 데 인간이 일조하는 게 많다”며 “이런 관점에서 본다면 되려 전통적인 작곡 방식보다 더 많은 사람들이 작곡 행위에 참여한다고 볼 수 있다”고 말했다.

전문가들은 예술적 영감을 표현하는 방법이나 그 영역을 획기적으로 확장할 수 있다는 점에서 기술 활용을 긍정적으로 내다보고 있다. 영화 <스타워즈(Star Wars)> 시리즈로 유명한 영화감독 조지 루카스(George Lucas)는 "기술은 끊임없이 발전한다. 이 기술 덕분에 예술가는 자신이 원하는 그림을 더 편하게 그리고, 자신이 원하는 이야기를 더 쉽게 전달할 수 있다”고 말한 바 있다. 이 관점을 작곡 영역에도 도입해 본다면, 작곡가는 인공지능을 활용해 하나의 곡을 만드는 데 들이는 노력과 시간을 효과적으로 줄일 수 있고, 작곡가는 다작 활동을 통해 대중을 상대로 짧은 시간에 다양한 음악적 실험을 해볼 수 있을 것이다.

아마 우리 인간은 예술적 창조 충동의 여부를 두고 인공지능과 인간이 만든 예술품의 가격을 산정해나갈지도 모른다. 적어도 이 기준이 인공지능과 인간을 구분하는 명백한 차이이기 때문이다. 철학자 버트런드 러셀(Bertrand Russell)가 한 말이 이를 뒷받침한다. 

⎡인간에게는 두 가지 충동이 있다. 하나는 무언가 새로운 것을 만들어 내려는 창조 충동으로 아름다움을 창조하려는 예술가의 활동이 전형적인 예다. 다른 하나는 무엇인가를 소유하려는 소유 충동으로 밑도 끝도 없이 돈을 모으려는 행동이다. 인간의 진정한 행복은 창조 충동을 개발하고 강화하는 데 있다. 창조 충동이야말로 새로운 삶을 여는 열쇠다.⎦


참고
[1] 도서 ‘마음의 탄생'
[2] 오케스트라용 곡에서 악기의 음색과 음량을 고려해 음악적 임부를 적절하게 배분하는 과정을 의미한다, 도서 ‘과학으로 풀어보는 음악의 비밀'
[3] 저작물을 일반공중이 향유할 수 있도록 매개하는 자에게 부여한 권리
이 글을 쓴 사람들
samantha.lee
이수경 | samantha.lee@kakaobrain.com
2016년 3월 알파고와 이세돌 9단이 펼치는 세기의 대결을 두 눈으로 목도한 이후 인공지능을 제대로 공부해봐야겠다고 결심했습니다. 인공지능 본진이자 연구소인 카카오브레인으로 걸어들어온 이유죠. 인공지능 기술과 이로 인해 바뀔 미래 사회를 다루는 글을 통해 사람들과 소통하고자 합니다.