“인류는 붕괴냐, 돌파냐라는 엄연하고 긴급한 선택에 직면해 있다”

이 글은 유엔 사무총장(UNSG) 안토니우 구테레스가 발행한 85페이지 분량의 보고서를 소개한다.

이 보고서는 "향후 25년을 내다보고" 해당 기간 동안 글로벌 협력을 위한 문제와 기회를 검토해달라는 유엔 회원국 대표단의 요청에 따라 작성되었다.

"우리의 공통 의제"라는 제목의 이 문서는 2021년 9월 10일에 공개되었다.

이미지 출처: UN

몇 가지 대담한 권장 사항이 포함되어 있다. 두 가지 예:

이제는 사실, 과학 및 지식에 대한 공통적이고 경험적으로 뒷받침되는 합의를 옹호함으로써 우리 세계를 괴롭히는 "인포데믹"을 종식시킬 때이다. '과학과의 전쟁'은 끝나야 한다. 모든 정책과 예산 결정은 과학과 전문 지식을 바탕으로 이루어져야 하며, 저는 공공 정보의 정직성을 촉진하는 글로벌 행동 강령을 요구한다.

이제는 경제적 번영과 발전을 측정하는 방식에 있어서 눈에 띄는 사각지대를 바로잡아야 할 때이다. 사람과 지구를 희생시키면서 이익을 얻을 때, 우리는 경제 성장의 실제 비용에 대한 불완전한 그림을 남긴다. 현재 측정된 바와 같이 국내총생산(GDP)은 일부 비즈니스 활동의 인간 및 환경 파괴를 포착하지 못한다. 나는 GDP를 보완하는 새로운 조치를 촉구한다. 이를 통해 사람들은 기업 활동이 미치는 영향과 사람과 지구를 지원하기 위해 우리가 어떻게 더 잘할 수 있고 더 잘해야 하는지를 완전히 이해할 수 있다.

또한 예측하기 어려운 미래 발전에 대비하는 데 더 많은 관심을 기울일 것을 요구했다.

또한, 주요 글로벌 리스크를 예방하고 대응하기 위한 준비도 더욱 강화해야 한다. 유엔이 정기적으로 전략적 예측 및 글로벌 위험 보고서를 발행하는 것이 중요할 것이다.

나는 우리의 미래가 어떤 모습이어야 하는지, 그리고 그것을 확보하기 위해 오늘 무엇을 할 수 있는지에 대한 새로운 글로벌 합의를 구축하기 위해 미래 정상회담을 제안한다.

그러나 이는 미래의 발전을 기대하면서 더 나은 조치를 취하는 것에 대한 진지한 대화의 시작일 뿐이었다. 대화를 크게 진전시킨 것은 바로 다음에 일어난 일이었다.

 

밀레니엄 프로젝트를 소개한다.

세상에는 "쓰기 전용"인 문서가 너무 많다. 작가는 권장 사항을 고안하고, 맥락을 문서화하고, 자신의 아이디어를 눈길을 끄는 레이아웃으로 변환하는 데 상당한 시간을 보낸다. 그러나 그들의 보고서는 시들해지며 먼지가 쌓인다. 공무원은 때때로 헤드라인을 훑어볼 수도 있지만 문서에 있는 나머지 좋은 단어는 실제 세계에 미치는 영향 때문에 눈에 띄지 않을 수 있다.

UNSG는 “우리의 공통 의제(Our Common Agenda)” 보고서의 경우 회전 초 시나리오를 피하기 위한 조치를 취했다. 그의 사무실은 보고서의 권장 사항에 대한 국제 미래학 커뮤니티로부터 피드백을 수집하기 위해 밀레니엄 프로젝트Millennium Project라는 조직에 연락했다. 이 미래학자들은 다양한 권장 사항을 어떻게 평가했을까? 그리고 앞으로의 실제적인 조치와 관련하여 그들은 어떤 조언을 해줄 것인가?

밀레니엄 프로젝트는 UN과 오랫동안 협력해 왔다. UN 대학과 3년간의 타당성 조사를 마친 후 1996년에 설립된 이 연구소는 수많은 학자 및 예측 전문가와 연결된 글로벌 "노드" 네트워크를 구축했다. 밀레니엄 프로젝트는 전 세계 미래학자들의 의견을 종합하고 정리하는 자체 "미래 상태" 보고서를 정기적으로 발행한다.

 

밀레니엄 프로젝트가 운영되는 방식의 두드러진 특징은 이 프로젝트가 사용하는 "실시간 델파이" 프로세스이다. 전통적인 설문지에서는 각 참가자가 자신의 선택에 대한 설명과 함께 자신의 답변을 제공한다. 델파이 설문조사에서 참가자는 다른 참가자가 제공한 분석의 익명화 된 버전을 볼 수 있으며 자신의 답변에 이를 고려하도록 권장된다.

따라서 참가자들은 질문뿐만 아니라 다른 응답자가 작성한 모든 내용을 반영할 수 있다. 참가자는 원하는 만큼 여러 번 질문 세트를 다시 방문하여 다른 응답자가 제공한 입력의 업데이트를 검토한다. 그리고 그것이 적절하다고 판단되면 스스로 답변을 계속해서 수정할 수 있다.

내가 개인적으로 여러 차례 참여한 이 과정의 마법은 다양한 참여자들이 소개한 새로운 주제가 개인들로 하여금 다양한 관점에서 문제를 고려하도록 유도한다는 것이다. 평범한 "최저 공통 분모" 타협보다는 다양한 관점의 새로운 종합이 나타날 수 있다.

따라서 밀레니엄 프로젝트는 UNSG 사무실이 제시한 과제에 대응하기에 좋은 위치에 있었다. 그리고 지난해 5월, 내 메일함에 한 통의 이메일이 떴다. UNSG의 "우리 공동 의제(Our Common Agenda)" 보고서의 핵심 요소에 대한 실시간 델파이 설문 조사에 참여하라는 초대였다.

이미지 출처: Real Time Delphi

나는 그 초대장을 내가 의장으로 있는 런던 미래파 커뮤니티 회원들에게 뉴스레터로 전달했다. 나는 내 의견 중 몇 가지를 추가했다.

UNSG 보고서는 나에게 엇갈린 감정을 안겨준다.

일부 부분은 단조롭고 "미덕 신호"로 간주될 수 있다.

하지만 다른 부분에서는 정말 흥미로운 제안을 제공한다.

아쉽게도 다른 부분은 말하지 않은 내용으로 인해 중요하다.

설문지에 응답하기 시작한 모든 사람이 프로세스를 완료한 것은 아니다. 상당한 생각과 관심이 필요했다. 그러나 델파이가 문을 닫을 무렵에는 총 54개국 189명의 미래학자 및 관련 전문가들의 실질적인 답변이 담겨 있었다.

 

델파이 프로세스의 결과

조직의 오랜 전무이사인 제롬 글렌(Jerome Glenn)이 이끄는 밀레니엄 프로젝트의 연구원들은 델파이 프로세스의 결과를 38페이지 분량의 분석(PDF)으로 변환했다. 그 과정에서 두 가지 유형의 결론이 도출되었다.

첫 번째 결론은 "우리의 공통 의제" 보고서의 특정 제안에 대한 직접적인 응답이었다. 두 번째는 보고서에서 거의 또는 전혀 관심을 기울이지 않았지만 더 높은 우선순위로 다루어야 할 사항을 언급했다.

첫 번째 범주의 응답에서는 UNSG 제안의 다섯 가지 특징을 언급했다:

1.미래의 정상회담

2.UN 신탁통치이사회를 다중 이해관계자 기구로 용도 변경

3.UN 미래 연구소 설립

4.전략적 예측 및 글로벌 위험 보고서를 정기적으로 발행

5.미래세대를 위한 특사 만들기

이미지 출처: 밀레니엄 프로젝트

전반적으로 델파이는 이 다섯 가지 제안에 대해 매우 긍정적인 평가를 내렸다. 제롬 글렌의 인용문은 다음과 같다:

우리 공동 의제의 5가지 예측 요소가 우리의 연구 방향에 따라 실행된다면, 이는 미래 연구와 역사상 예측을 위한 가장 큰 발전이 될 수 있다… 이는 역대 UN 시스템에 글로벌 예측 구조 변화를 가져올 수 있는 최고의 기회입니다. 제안되었다.

다섯 가지 제안 중 UN Futures Lab이 가장 중요한 것으로 확인되었다.

UN Futures Lab은 실시간 델파이 패널의 절반 이상이 글로벌 예측을 향상시키는 데 있어 5개 요소 중 가장 중요한 요소로 평가되었다. 가능한 한 빨리 이를 수행하는 것이 중요하고 긴급하며 필수적이다. 이는 우리 공동 의제의 다른 모든 예측 요소에 매우 중요하다.

연구소는 모든 UN 기관에서 기능하고 모든 UN 데이터와 정보를 통합하여 글로벌 집단 정보 시스템을 구축해야 한다. 이는 체계적이고 체계적인 글로벌 미래 연구를 위한 공식적인 공간을 창출할 것이다. 인류의 예지력 두뇌가 될 수도 있다.

델파이는 또한 전략적 예측 보고서에 대한 제안이 특히 중요하다고 간주했다.

거의 40%의 패널이 전략적 예측 및 글로벌 위험 보고서를 글로벌 예측 개선에 매우 중요한 것으로 간주했다. 이것이 바로 유엔이 세계에 제출해야 할 보고서이다. 자체 분석과 함께 이러한 보고서는 다른 모든 주요 예측 및 위험 보고서에 대한 분석 및 종합을 제공하고 글로벌 전략에 대한 로드맵을 제공하며 위험과 기회에 동일한 비중을 두어야 한다.

보고서는 변화가 가속화되고 이러한 문제에 계속해서 사람들을 참여시켜야 하기 때문에 1~2년마다 발행되어야 한다. 여기에는 위험 완화, 관리 및 지속되는 사례와 함께 마지막 보고서 이후 취해진 조치에 대한 장을 포함해야 한다.

예방 대 복구에 대한 비용 추정에서 종종 무시되는 위협에 주의를 기울여야 한다(빌 게이츠는 지금까지 코로나19에 지출한 15조 달러에 비해 다음 전염병을 해결하는 데 10억 달러의 비용이 들 것이라고 추정한다). 보다 지능적인 결정을 내리는 데 필요한 시간에 민감한 정보를 식별해야 한다.

어떤 면에서 우리의 공통 의제에서 주요 미래학 주제가 생략되는 것은 큰 문제가 아니다. 위에 설명된 메커니즘이 마련되면 전 세계 예측 실무자들에게 알려진 중요한 누락 사항이 빠르게 활성화된 프로세스에 반영되어 더 많은 관심을 받게 될 것이다.

그러나 기록상 UNSG 보고서에서 누락된 몇 가지 주요 위험과 기회를 언급하는 것이 중요하다.

 

다가오는 가장 큰 전환

제롬 글렌은 이를 다음과 같이 잘 설명한다:

일반 인공 지능의 초기 조건을 제대로 갖추지 못하면 우리가 원하는 대로 제어할 수 없고 이해할 수 없는 곳에서 인공 초지능이 나타날 수 있다.

AGI가 10~20년 안에 발생할 수 있고 올바른 초기 조건에 대한 국제 협약을 만들고 글로벌 거버넌스 시스템을 설계하고 구현하는 데 동일한 시간이 걸린다면 지금 시작해야 한다.

글렌은 계속해서 이 수수께끼의 본질적인 국제적 성격을 지적한다.

미국과 중국이 모든 일을 제대로 하고 다른 나라는 그렇지 않다면 SF에 대한 두려움이 생길 수 있다. 이는 전 세계적으로 시행되는 글로벌 협약이어야 한다. UN만이 그것을 할 수 있다.

문제는 다음과 같다. 새로운 AI 세대가 나올 때마다 더 많은 사람들이 차세대 AI 개발에 더 쉽게 참여할 수 있게 된다. 시스템은 종종 이전 구성 요소를 결합하고 정보와 명령의 흐름을 관리하는 연결을 조정하여 구축된다. 초기 시도가 작동하지 않으면 엔지니어는 일부 연결을 취소하고 다시 시도할 수 있다. 또는 두 포트 사이에 약간의 지연이나 데이터 변환을 추가해야 한다. 또는 사용 가능한 처리 능력의 양을 두 배로 늘린다. 등등. (물론 지나치게 단순화한 것이다. 실제로 이루어진 실험적 변화의 종류는 제가 방금 말한 것보다 더 복잡하다.)

이러한 반복적인 실험을 통한 혁신은 기술 발전의 역사에서 종종 뛰어난 성과를 만들어냈다. 크리에이티브 엔지니어들은 처음부터 자신의 결과에 자주 실망했지만 거의 우연히 작동하는 구성을 발견했다. 빙고 — 새로운 수준의 지능이 만들어졌다. 그리고 이전에는 이류로 의심받았던 엔지니어들이 이제는 비전을 지닌 거인으로 칭찬받고 있다.

실리콘밸리는 이를 '빠르게 움직이고 파괴하라'라는 이름을 갖고 있다.

아이디어: 회사가 너무 조심하면 경쟁사만큼 빨리 새로운 획기적인 조합을 내놓지 못할 것이다. 그래서 사업이 중단될 것이다.

 

 

이 문구는 Facebook의 수년 동안 비공식적인 사명 선언문이었다.

또한 "앞으로 실패하는 것"의 중요성과 "더 빨리 실패하는 방법"에 대해 자주 듣게 될 조언도 고려해야 한다.

이러한 관점에서 보면, 우리가 빨리 정신을 차리고, 경험을 통해 배우고, 다음 시도를 더욱 현명하게 진행할 수 있다면 실패는 문제가 되지 않는다.

하지만 잠깐만. 실패가 문제라면 어떻게 될까? 새로운 기술의 조합이 엄청난 결과를 낳는다면 어떻게 될까? 이러한 위험은 오늘날 여러 첨단 기술로 인해 발생한다:

°새로운 바이러스에 대응하기 위한 백신을 만들기 위한 옵션을 탐색하기 위한 바이러스 조작 — 하지만 치명적인 새로운 합성 바이러스가 보안이 유지된 실험실에서 누출된다면 어떻게 될까?

°들어오는 햇빛의 더 많은 부분을 반사하기 위해 성층권을 조작한다. 그러나 그러한 개입으로 인해 엄청난 가뭄 및/또는 홍수를 유발하는 등 예상치 못한 부작용이 발생한다면 어떻게 될까?

°인간 행동(소비자, 선거인 등)에 영향을 미치는 능력을 높이기 위해 알고리즘을 조작한다. 하지만 새로운 알고리즘이 너무 강력해서 중요한 사회 공동체를 무심코 깨뜨린다면 어떻게 될까?

UNSG 안토니오 구테레스가 이 기사의 시작 부분에 쓴 메시지로 돌아가 보겠다. 결정적인 돌파구를 얻으려는 시도가 끔찍한 실패로 이어진다면 어떻게 될까?

터미네이터가 아니다.

강력한 알고리즘이 잘못될 것이라는 생각은 손짓으로 일축되는 경우가 많다. “이건 공상과학 소설일 뿐이다.”

그러나 제롬 글렌의 다음 진술(앞서 인용)은 정확하다. "공상과학 소설에 대한 두려움이 발생할 수 있다."

결국, HG Wells는 1914년에 세상은 자유로워진다(The World Set Free)라는 제목의 SF 소설을 출판했다. 이 소설에는 핵분열에서 폭발력을 파생하는 "원자 폭탄"이 등장한다. 그의 소설에서는 1958년을 배경으로 한 세계 전쟁에서 원자폭탄이 세계 도시의 대부분을 파괴했다.

이미지 출처: Amazon.com                

 

그러나 단지 공상과학 소설에서 어떤 일이 예측된다고 해서 그와 같은 일이 현실에서 일어날 가능성을 거부할 이유는 없다.

HG Wells가 예측한 "원자폭탄"은 당연히 맨해튼 프로젝트 및 후속 연구 프로그램에서 개발된 실제 원자폭탄과 여러 면에서 달랐다. 마찬가지로, 잘못 구성된 강력한 AI로 인한 위협은 일반적으로 공상 과학 소설에서 묘사되는 위협과 다르다.

예를 들어, 할리우드 터미네이터 영화 시리즈에서 인간은 소위 초인적인 노력을 통해 악의적인 “스카이넷” 인공지능 시스템의 의도를 좌절시킬 수 있다.

매력적인 엔터테인먼트이다. 그러나 이들 영화의 내러티브는 AGI가 제기하는 위험에 대한 믿을 만한 시나리오를 왜곡한다. 우리는 그러한 이야기에 속지 말아야 한다.

첫째, 터미네이터와 다른 많은 SF 작품에는 인류의 위험 지점이 AI 시스템이 어떻게 든 "깨어나거나" 의식을 갖게 되는 때라는 암시가 있다. 만약 사실이라면, 그러한 인공 의식을 피하는 것이 충분한 안전 조치가 될 것이다.

그러나 우리를 추적하는 순항 미사일은 순항 미사일 의식에 마감 기한이 달려 있지 않다. 특정 소수민족에 대한 증오를 조장하는 소셜 미디어 알고리즘은 의식적으로 악한 것이 아니다. 손상은 알고리즘의 냉간 작동으로 인해 발생한다. 의식을 포함할 필요는 없다.

둘째, AI가 인간에게 피해를 입히기 전에 의도적으로 악의적이어야 한다는 의미가 있다. 그러나 악의적인 의도가 없는 정책의 부작용으로 인해 인류 복지에 대한 피해가 발생할 가능성도 높다.

우리 인간이 새로운 쇼핑몰을 건설하는 과정에서 개미군락을 파괴하는 것은 개미에 대한 고의적인 악의로 행동하는 것이 아니다. 단지 개미들이 우리를 방해하고 있을 뿐이다. 그들은 우리가 다른 목적을 염두에 두고 있는 자원을 사용하고 있다. 자체 목표를 추구하는 AGI도 마찬가지일 수 있다.

자신의 이익을 늘리려는 목표를 적극적으로 추구하는 기업을 생각해 보자. 적어도 일부 인간이나 환경의 일부의 안녕을 손상시키는 조치를 취할 수도 있다. 이러한 결과는 이들 기업을 지배하는 최고의 이익 창출 지침의 부작용이다. 이는 기업이 의식적으로 원하는 결과가 아니다. 잘못 설계된 AGI에서도 마찬가지일 수 있다.

셋째, 터미네이터의 시나리오는 시청자에게 충분한 노력을 기울이면 인간 저항군이 AGI를 압도할 수 있다는 잘못된 희망을 심어준다. 그것은 충분한 노력을 기울이면 지구상에서 지배적인 종인 인간을 대체할 수 있다고 상상하는 침팬지 무리와 같을 것이다. 현실에서 터미네이터 로봇이 쏜 총알은 절대 빗나가지 않는다. 저항은 참으로 소용없을 것이다.

대신, AGI로 인해 발생할 수 있는 피해에 맞서 싸울 때는 AGI가 이미 존재하고 사실상 전능할 때가 아니라 AGI가 생성되기 전이다. 그렇기 때문에 미래의 글로벌 발전에 대한 분석에서는 AGI 위험을 최전선과 중앙에 두어야 한다.

 

4가지 치명적인 오류 모드

"할리우드 위험"과 반대되는 실제 위험은 AI 시스템이 인간 사회와 주변 환경에 너무 많은 영향을 미치므로 해당 시스템의 실수로 인해 전 세계 인간의 안녕이 대격변으로 감소할 수 있다는 것이다. 수십억 명의 생명이 소멸될 수도 있고, 현재 상태의 아주 희미한 반영으로 변할 수도 있다.

이러한 결과는 네 가지 치명적인 오류 모드 중 하나로 발생할 수 있다. 간단히 말하면 다음과 같다:

1.구현 결함

2.디자인 결함

3.디자인이 재정의됨

4.구현이 재정의됨

이미지 출처: David Wood 및 Pixabay

더 자세하게:

시스템 구현에 결함이 있다. 하나의 결과가 있을 것이라고 계산하는 작업을 수행하지만 예기치 않게 대신 다른 결과가 발생한다. 예를 들어, 지구공학적 개입은 지구 기후에 예상치 못한 변화를 촉발하여 지구를 인간이 생존할 수 없는 상태로 몰아넣을 수 있다.

예를 들어, 지구 생물계의 다양성을 보존하는 데 초점을 맞추겠다는 어설프게 구체적인 목표를 가진 AI를 상상해 보자. 이는 모든 인간의 99% 이상을 제거함으로써 충족될 수 있다. 이런! 이러한 시스템에는 설계상의 결함이 있다. 명시적으로 주어진 목표를 달성하기 위해 조치를 취하지만 실제 인간의 안녕을 재앙적으로 감소시키는 방식으로 그렇게 한다.

시스템에는 인간의 웰빙과 잘 일치하는 목표가 주어졌지만 시스템이 발전함에 따라 인간의 웰빙이 우선시되지 않는 다른 목표 세트가 나타난다. 이는 인간 영장류의 더 높은 사고 능력의 출현으로 인해 많은 인간이 진화를 통해 생물학에 부여된 유전자 확산 본능에 반대되는 행동을 취하게 된 것과 유사하다.

시스템에는 인간의 안녕과 잘 맞는 목표가 주어졌으나 어떤 종류의 해커에 의해 시스템이 재구성되었다. 아마도 악의적이거나 다양한 변화가 시스템을 더욱 강력하게 만들 것이라는 잘못된 인식 때문일 수도 있다. 더 가치 있다).

일부 작가들은 이러한 네 가지 치명적인 오류 모드를 피하는 것이 상대적으로 쉬울 것이라고 제안한다. 나는 동의하지 않는다. 나는 그것이 희망사항이라고 생각한다. 그러한 생각은 자기 만족으로 이어지기 때문에 특히 위험하다.

 

AGI로의 전환을 위한 현명한 거버넌스

위의 치명적인 오류 모드 중 하나 또는 두 가지에 대해 다양한 "쉬운 수정"이 작동할 수 있지만, 네 가지 모두에 대처할 솔루션에는 훨씬 더 포괄적인 접근 방식, 즉 "전체 시스템 관점"이 필요하다.

전체 시스템 관점에는 투명성, 탄력성, 검증, 경계, 민첩성, 책임, 합의 및 다양성과 같은 특성을 촉진하는 것이 포함된다. 이는 사전 예방적인 위험 관리 원칙을 옹호한다.

이는 기술이 어떻게 활용되는지에 대한 질문으로 귀결된다. 즉, 기술이 어떻게 선택적으로 조향되고, 속도가 느려지고, (예) 경우에 따라 최대 속도가 주어지는 지에 대한 질문이다.

통제권 되찾기

한마디로 '기술 통제권 탈환'이 필요하다. 기술은 그 자체의 장치에 맡겨질 수 없다. 때로는 기술 기업의 성급한 돌진도 마찬가지이다. 군사 계획가의 결정에도 영향을 미치지 않는다. 그리고 확실히 외부의 정치인들의 변덕에 따르지 않는다.

대신에, 우리 국민은 “통제권을 되찾아야” 한다.

AGI로의 전환에 대한 현명한 거버넌스에서 UN의 잠재적인 역할은 엄청나다. UN은 전 세계 다양한 국가 정부 간의 뚜렷한 차이에도 불구하고 사회의 모든 수준에서 인적 관계를 중개하고 심화하는 데 도움을 줄 수 있다. 빠르게 변화하는 기술(예: AI)과 관련된 "우리의 공통 의제"를 이해하면 이념, 정치, 종교, 문화의 차이를 초월할 수 있다.

나는 특히 다음 사항에 대해 전 세계적으로 공유되는 감사를 기대한다:

°잘못 관리된 기술 변화로 인한 재앙의 위험

°이러한 기술이 현명하게 관리된다면 심오하고 긍정적인 가능성이 생길 것이다.