4월 10일, 새로운 발매가 음악계를 뒤흔들었다.

새로운 프랭크 오션(Frank Ocean) 앨범도 아니고 또 다른 드레이크 디스 트랙도 아니었다. 이 드롭은 사실 전혀 새로운 음악이 아니었다. AI를 사용하여 사용자의 텍스트 프롬프트에서 음악을 생성하는 앱인 Udio였다. 악기용 ChatGPT를 생각해 보라.

Udio는 동종 최초의 제품은 아니지만 틀림없이 최고의 제품이다. 그러면 Udio가 정확히 어떻게 작동하며, 음악의 미래에 어떤 의미를 가질 수 있을까?

 

음악 제작 AI

앱을 개발한 스타트업인 Udio는 거대 기술 기업의 AI 연구소인 Google Deepmind의 전 연구원 그룹에 의해 2023년 12월에 설립되었으며, 비공개 베타 모드로 운영된 후 이달 초 플랫폼이 공개적으로 출시되었다.

이제 누구나 Udio를 사용하여 한 달에 최대 1,200곡을 무료로 생성할 수 있다. Google, Twitter 또는 Discord 계정으로 로그인하고 사용자 이름을 선택하기만 하면 된다.

로그인한 후 텍스트 상자에 만들고 싶은 노래에 대한 설명을 입력한다. 여기에 스타일 설명을 포함하거나 제안된 장르 및 분위기 태그를 클릭할 수 있다. 그런 다음 노래에 자동 생성된 가사를 적용할지, 악기로 사용할지, 수동으로 입력한 가사를 사용할지 선택한다.

"만들기"를 클릭하면 약 5분 내에 Udio의 AI가 사용자의 입력을 기반으로 각 32초 길이의 두 곡을 생성한다.

둘 중 하나가 마음에 들면 파일을 다운로드하거나 링크를 공유하거나 Udio 커뮤니티에 게시할 수 있다. 이미 생성한 트랙 앞이나 뒤에 인트로, 아웃트로 또는 섹션을 추가하여 트랙을 확장하거나 리믹스하여 약간 다른 버전을 생성할 수도 있다.

Udio의 공동 창업자이자 CEO인 데이비드 딩(David Ding)은 "Udio를 사용하면 클래식 음악가부터 팝스타에 대한 야망을 가진 사람, 힙합 팬, 친구들과 함께 즐거운 시간을 보내고 싶은 사람까지 누구나 단 한 순간에 경외감을 불러일으키는 노래를 만들 수 있다."라고 말했다. “정말 말도 안 된다.”

Udio는 이러한 종류의 최초의 플랫폼은 아니다. OpenAI는 Google(MusicLM) 및 Meta(Audiocraft)와 마찬가지로 AI 음악 생성기(Jukebox)를 개발했으며 이 도구를 출시하는 스타트업의 수가 계속 늘어나고 있는 것 같다. 그러나 기술 리뷰어 Udio는 최고는 아니지만 최고 중 하나로 칭찬하고 있다.

딩은 “우리는 악기와 보컬의 품질이 전반적으로 더 높다.”라고 말했다. "다른 곳은 AI 음악에 좋지만 우리는 인간이 만든 최고의 음악과 비슷하다."

Udio는 플랫폼을 어떻게 생성했는지에 대해 말하지 않지만 OpenAI, Google 및 기타 개발자는 AI 음악 생성기가 어떻게 작동하는지 공개했으며 기본적으로 모델에 많은 음악 샘플(120만 곡)을 공급하는 것으로 귀결된다. Jukebox의 경우 — 오디오에 대한 가사 및 텍스트 설명과 함께 제공된다.

AI는 음악을 "토큰"이라는 개별 단위로 나눈 다음 텍스트 프롬프트를 충족하는 새로운 작곡을 만들기 위해 어떤 토큰을 어떤 순서로 결합해야 할지 예측하는 방법을 학습한다.

논쟁

AI 음악 생성기는 실제 아티스트가 만든 실제 노래에 대해 훈련을 받았기 때문에 출력은 해당 아티스트가 만든 음악과 매우 유사하게 들릴 수 있으며 Jammable 및 Uberduck과 같은 일부 플랫폼은 사용자가 특정 아티스트 목소리의 AI 복제본을 선택하여 창작물에 사용할 수도 있다.

어떤 사람들은 이러한 도구를 활용하여 실제 아티스트가 만든 것처럼 들리지만 실제로는 AI가 생성한 트랙을 만들고 출시하고 있다.

이번 주에 드레이크와 켄드릭 라마 사이의 진행 중인 싸움에서 새로 유출된 두 개의 diss 트랙이 AI로 생성된 것으로 확인되었으며 에미넴, 프랭크 시나트라 및 기타 여러 아티스트를 모방한 트랙을 온라인에서 찾을 수 있다. 때로는 AI 생성으로 표시되기도 한다. 때로는 그렇지 않다.

이 모든 것의 적법성은… 미정이다. 2024년 1월 미국 국회의원들은 승인되지 않은 음성이나 초상 복제를 방지하기 위해 고안된 AI 사기 금지법(No AI FRAUD Act)을 내놓았고, 3월에 도입된 또 다른 법안에서는 모든 AI 생성 콘텐츠(오디오, 이미지 등)를 복제하도록 요구할 것이다. 그렇게 라벨이 붙었다.

유니버설 뮤직 그룹의 법무 자문위원인 제프리 할스턴은 2023년 7월 의회에서 "아티스트의 목소리는 생계와 대중의 인격에서 가장 귀중한 부분인 경우가 많다. 수단에 관계없이 이를 훔치는 것은 잘못된 것이다."라고 말했다. 예술가의 권리를 보호하기 위한 법률이다.

 

AI 음악 생성기의 출력이 특정 아티스트의 소리와 같지 않더라도 시스템이 작동하려면 많은 음악에 대해 교육을 받아야 하며, 기술 회사는 일반적으로 아티스트나 레이블에 음악을 사용해도 괜찮은지 묻지 않는다. 그들의 음악은 훈련 데이터에 포함되며, 사용에 대한 보상은 말할 것도 없다.

이로 인해 (음악 제작 개발자뿐만 아니라) 생성 AI 개발자를 상대로 여러 건의 소송이 계류 중이었으며, 원고는 기술 회사가 저작권이 있는 데이터를 사용하여 시스템을 훈련시키는 것이 불법이라고 주장했다. 한편 AI 개발자의 일반적인 방어는 훈련 데이터가 "공정한 사용"에 해당한다는 것이다.

소송 결과에 관계없이 많은 음악가들은 자신의 작업이 생성 AI 훈련에 사용되는 것에 만족하지 않는다. 4월 1일 빌리 아일리시, 니키 미나즈, 메트로 부민을 포함한 200명 이상의 아티스트가 공개 서한에 서명했다. ARA(예술가 권리 동맹 Artist Rights Alliance)는 이러한 관행을 규탄하고 기술 플랫폼에 "음악 평가 절하를 중단"할 것을 촉구했다.

ARA의 전무이사인 젠 야콥슨은 "비윤리적인 AI 사용은 예술가의 생계 능력에 영향을 미칠 뿐만 아니라 우리 모두의 음악 감상 경험을 파괴할 위험이 있다."고 말했다.

“AI 개발자와 온라인 플랫폼이 인간 아티스트의 가치를 떨어뜨리는 관행을 선택한다면 우리는 결국 다음 세대를 위한 음악의 품질, 다양성, 접근성을 제한하게 될 수 있다.”고 그녀는 계속 말했다. “우리 문화 자체가 이를 올바르게 하는 데 달려 있다.”

Udio는 AI 음악 생성기를 훈련하는 데 어떤 데이터가 사용되었는지 밝히지 않았지만 사용자가 프롬프트에 특정 아티스트의 이름을 포함하는 것을 금지하므로 플랫폼을 사용하여 의도적으로 음악적 딥페이크를 만드는 것이 매우 어렵다.

예를 들어, "테일러 스위프트 스타일"의 노래를 요청한다. Udio는 "허가 없이 아티스트 유사성을 생성"하지 않으며 프롬프트의 "테일러 스위프트"라는 문구를 "여성 보컬리스트", "컨트리 팝" 및 기타 몇 가지 관련 설명으로 대체한다는 메시지를 받게 된다.

그렇다고 해서 AI가 가끔 실제 사람처럼 들리는 음악을 만들지 않는다는 의미는 아니다. 롤링 스톤은 Udio로 생성한 두 트랙에 톰 페티와 매우 흡사하게 들리는 보컬이 포함되어 있다고 지적했다. 그러나 회사는 그것이 의도하지 않은 것이라고 말한다. 그리고 그것을 방지하기 위해 노력하고 있다.

딩(Ding)은 “우리는 출력물이 저작권 자료를 침해하지 않도록 광범위한 자동 저작권 필터를 갖추고 있다.”라고 말했다. "팀은 지속적으로 보호 장치를 개선하고 있지만 플랫폼에서 생성된 모든 작업이 참신하도록 보장하기 위해 최선을 다하고 있다."

 

앞으로 나아갈 길

Udio처럼 다른 생성 AI 개발자들도 음악 산업과 맞서 싸우기보다는 평화롭게 공존할 수 있는 방법을 찾고 싶어하는 것 같고, 일부 음악가들은 적어도 기술이 발전함에 따라 대화에 참여하고 싶어 하는 것 같다.

예를 들어 2023년에 Google Deepmind는 Dream Track을 위해 YouTube와 협력했다. 이 프로젝트는 엄선된 YouTube 크리에이터가 Google의 AI 음악 생성기 리리아와 찰리 XCX, 데미 로바토를 포함한 9명의 주요 음반사 뮤지션의 목소리를 사용하여 쇼츠용 30초 노래를 만들 수 있도록 하는 프로젝트이다. 존 레전드는 아티스트의 허가를 받아 제작되었다.

“처음 YouTube에서 접근을 받았을 때 저는 조심스러웠고 지금도 그렇다. AI는 우리가 아직 완전히 이해하지 못하는 방식으로 세계와 음악 산업을 변화시킬 것이다.”고 찰리 XCX는 말했다. "이 실험은 가능한 창의적인 기회에 대한 작은 통찰력을 제공할 것이며 그 결과가 무엇인지 궁금하다."

한편, Udio는 AI를 활용해 수익을 창출하는 데 관심이 있는 아티스트들과 논의 중이며, 플랫폼을 구축하는 과정에서 Will.i.am, Common, Tay Keith 등 스타트업에 투자한 아티스트와 음악 프로듀서로부터 피드백을 구했다.

딩은 “개발의 모든 단계에서 우리는 업계 사람들과 어떻게 이 기술을 아티스트와 음악가 모두에게 이익이 되는 방식으로 시장에 출시할 수 있는지에 대해 이야기했다.”고 말했다.

일부 아티스트는 이미 생성 AI를 수용하여 이 기술을 사용하여 자신만의 새로운 음악을 만들고 있으며, 다른 아티스트는 팬이 자신의 음성 복제를 통해 더 쉽게 창의력을 발휘할 수 있도록 만들고 있다.

예를 들어, 팝 아티스트 그라임스는 사람들이 자신의 목소리를 복제한 트랙을 만들고 배포할 수 있는 웹사이트를 구축했다. 그런 다음 그녀는 노래에서 얻은 로열티를 업로더와 50/50으로 나눈다. 한편 예술가이자 기술자인 홀리 헌돈과 매트 드라이허스트는 AI를 사용하여 누구나 음악을 만드는 데 사용할 수 있는 헌돈의 목소리 복제품을 만들었다.

"'아무도 나처럼 창작할 수 없다, 난 이 일을 그만둘 거야'라고 말하셨나?" 드라이허스트는 말했다. "아니면 그것에 기대어 '이제 이것이 현실이라는 것을 인정하고 우리가 얼마나 멀리까지 갈 수 있는지 보자'라고 말하시겠는가?"

궁극적으로 헌돈과 드라이허스트는 동의와 보상이 음악 산업과 생성 AI 개발자 간의 조화로운 관계의 열쇠라고 본다. 아티스트는 음악을 교육에 사용하기 전에 동의를 구해야 하며, 아티스트의 목소리를 창작에 사용하려면 먼저 동의를 구해야 한다. 누군가가 자신의 녹음을 샘플링할 때 음악가가 보상을 받는 것과 같은 방식으로 그들은 보상을 받아야 한다.

“이제 흥미를 갖고 몇 가지 큰 아이디어를 생각해 볼 때이다. 왜냐하면 시간이 지남에 따라 동의하는 데이터가 실제로 예술가와 개인에게 더 좋고 AI에도 더 좋을 것이며 모두가 동의하기를 원할 것이라고 생각하기 때문이다. 그들 만의 방식으로 말이다.” 헌돈이 말했다.