본 연구의 목적에 따라 인공 일반 지능(AGI)은 인간이 할 수 있는 것과 비슷하거나 더 나은 새롭고 복잡한 전략을 사용하여 새롭고 복잡한 문제를 해결하기 위해 학습하고, 코드를 편집하고, 자율적으로 행동할 수 있는 범용 AI로 정의된다. 이는 기존의 ANI(인공 좁은 지능 Artificial Narrow Intelligence)와는 다르다.

오늘날에는 더 좁은 목적을 가지고 있다. 인공슈퍼지능(Artificial Super Intelligence)은 인간으로부터 독립하여 인간의 이해, 인식, 통제 없이 자체 목적, 목표, 전략을 개발하고, 인간 전체를 넘어 지능과 행동 범위를 지속적으로 확대하는 AGI이다.

미래학자들은 다양한 미래, 그 궤적, 잠재적 결과, 이러한 미래를 다루기 위한 조치의 효율성을 탐구한다. ANI에서는 많은 작업이 이루어졌지만 AGI에서는 그 수가 적다. AGI가 등장하기 전에 규칙, 가드레일, 지속적인 감사 등의 국제 규제 시스템이 없다면 우리가 원하는 대로 ASI가 등장할 수 있다. AGI는 10년 이내에 도착할 수 있으므로 지금 당장 잠재적인 AGI 거버넌스 문제와 모델을 국제적으로 탐구하는 것이 현명하다. 이는 인류가 직면한 가장 어려운 경영 문제일 수 있다.

 

1. 기원 또는 자기 출현

질문 1. 현재의 ANI에서 미래에 훨씬 더 유능한 AGI까지의 가능한 궤적을 어떻게 구상하는가?

-Demis Hassabis, DeepMind 창립자이자 Google/DeepMind의 CEO

DeepMind와 Google Brain은 Google DeepMind로 합병되어 "빠르게 움직이거나 문제를 일으키지 않고" 대담하고 책임감 있는 방식으로 AGI 개발을 가속화했다.

AGI는 단 몇 년, 어쩌면 10년 안에 가능하다. ChatGPT와 현재 형태의 생성 AI는 AGI와는 거리가 멀다. AI의 발전이 둔화될 이유가 전혀 없다. 심지어 가속화될 수도 있다고 생각한다. 우리는 기본 시스템의 기능을 이해하기 위해 매우 신중하게 통제된 실험을 시도하고 수행하는 과학적 방법을 사용하여 신중한 방식으로 이러한 유형의 AGI 기술을 개발할 것을 옹호한다."

 

-OpenAI CEO, Sam Altman

우리는 "한 번의 시도로 올바른 결과를 얻는" 시나리오를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다. AGI가 있는 세계로의 점진적인 전환은 갑작스러운 전환보다 낫다. 우리는 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며, 이에 점진적으로 적응하는 것이 더 낫다고 생각한다.

현재 우리는 AI 배포 문제를 성공적으로 해결하는 가장 좋은 방법은 빠른 학습과 세심한 글읽기라는 긴밀한 피드백 루프를 사용하는 것이라고 믿는다. 우리는 AGI 위험이 존재하는 것처럼 운영할 것이다. 어느 시점에서는 배포의 장점과 단점(예: 악의적인 행위자 권한 부여, 사회 경제적 혼란 유발, 안전하지 않은 경쟁 가속화 등) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 대한 계획을 크게 변경할 수 있다.

외부 입력에 대한 실험을 실행할 계획이다. 우리는 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 우리는 필요할 것이다. 더 나은 정렬 기술을 위한 새로운 아이디어를 생각해내는 데 도움이 되는 AI 사용을 포함하여 모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발한다.

우리는 이러한 시스템을 관리하는 방법, 생성된 이점을 공정하게 분배하는 방법, 액세스를 공정하게 공유하는 방법이라는 세 가지 주요 질문에 대한 글로벌 대화를 희망한다.

 

-Ben Goertzel, SingularityNET CEO

본질적으로 이미 존재하는 구성 요소를 조립하여 AGI를 만들 수 있다고 생각한다. 예를 들어 상징적 추론 시스템 및 진화 학습 시스템과 함께 대규모 언어 모델을 취한 다음 SingularityNET에서 실행되는 OpenCog Hyperon 시스템과 같은 올바른 조합 아키텍처에서 이들을 함께 연결한다.

이렇게 하면 대략 인간 수준의 성능을 갖춘 AGI를 얻을 수 있다고 생각한다. 이것은 지금으로부터 불과 몇 년 안에 일어날 수 있으며, 그러면 이 시스템은 무엇보다도 스스로를 다시 작성하고 개선할 수 있게 될 것이다. 그리고 아마도 그리 길지 않은 시간 내에 인간 수준의 AGI에서 초인간 수준의 AGI, 즉 인공 슈퍼 지능(ASI)에 도달하게 될 것이다.

AGI는 다양한 구성 요소의 조합으로 명시적으로 설계될 수도 있고 하나의 네트워크, 네트워크들, 네트워크의 에서 진화할 수도 있다. AI 구성 요소를 더 큰 전체로 결합하는 데 사용할 수 있는 프레임워크가 많이 있다. OpenCog에는 패턴 인식을 위한 신경망, 추상적인 지식과 추론을 위한 논리 엔진, 새로운 것을 창조하기 위한 진화 학습이 있다.

모두가 공통 지식 그래프에서 함께 행동하며, 이는 맥락 내에서 목표를 달성하기 위해 행동하는 데 도움이 되는 목표 시스템을 갖는다. 우리는 여전히 최적화를 위해 노력하고 있다. SingularityNET은 여러 AI가 네트워크로 연결되어 데이터를 공유하고 처리를 서로 아웃소싱하여 부분의 합을 넘어서는 집단 지능을 만드는 플랫폼이다.

또한 다른 많은 분산형 AI 프로젝트 중 하나로 SingularityNET을 포함하는 다양한 AI 프로젝트로 구성된 분산형 AI 연합도 있다. 이러한 네트워크의 노드는 다른 네트워크의 노드와 통신하여 목표를 달성하는 데 필요한 것을 얻고 그에 대한 비용을 지불할 수 있다.

암호화폐로 서비스를 제공하고 역량평가를 받는다. 이는 중앙화 된 거대 기술 업과 국가를 상대할 수 있는 대안이다. 인간이 AGI를 만든 후 얼마 지나지 않아 AGI는 인간의 능력을 훨씬 능가하는 인공 초지능인 ASI로 진화할 가능성이 높다.

 

질문 2. 이러한 궤적이 관리되지 않거나 잘못 관리될 경우 가장 중요한 심각한 결과는 무엇일까?

- Jaan Tallinn, Ct. 케임브리지 대학교 및 미래생명연구소(Future of Life Institute)의 실존 위험 연구

순수한 데이터를 바탕으로 한 비지도 학습은 완전히 블랙박스 영역에 있는 정신을 발달시킨다. 우리는 그것이 어떻게 작동하는지 모른다. 이미 한 남자가 자살하도록 설득했다. 사람들은 이미 GPT-4를 설득하여 생물 무기에 대한 조언을 제공했다. GPT-5 정도를 수정하면 위험할 정도로 잘못된 조언과 행동을 제공할 수 있다. 여기에 여론과 관련된 중요한 신호가 있다.

최근 YouGov 설문 조사에 따르면 30세 미만 인구 중 약 60%가 AI가 인류의 종말을 초래할 것이라는 점에 대해 매우 우려하거나 다소 우려하고 있는 것으로 나타났다.

따라서 우리는 GPT-4 이후의 모든 작업에 대해 6개월의 일시 중지를 요구한다. 6개월의 일시 중지가 우리에게 제공하는 정말 중요한 것 중 하나는 우선 일시 중지가 가능한지에 대한 경험적 지식이다. 그렇지 않다면, AI 연구소가 인류와 협력하지 않는다면 우리는 더 강력한 조치가 필요하다는 것을 알게 될 것이다.

 

-일론 머스크

우리는 우주의 흥미로운 부분이기 때문에 인간을 멸망시킬 가능성이 없는 우주에 대한 이해에 관심을 갖고 X.AI를 만들고 있다. 이것이 안전을 향한 최선의 길일 수 있다. AI에 대한 현재 접근 방식의 위험은 아마도 다음보다 더 위험할 것이다. 예를 들어, 잘못 관리된 항공기 설계나 생산 유지 관리 또는 나쁜 자동차 생산은 가능성이 아무리 작더라도 가능성이 있지만 사소하지 않으며 문명 파괴의 가능성이 있다는 의미이다.

펜은 칼보다 강하다는 옛말이 있다. 따라서 믿을 수 없을 정도로 글을 잘 쓸 수 있고 매우 영향력 있고 설득력 있는 방식으로 글을 쓸 수 있고 시간이 지남에 따라 사람들에게 더 설득력 있는 것이 무엇인지 끊임없이 파악한 다음 소셜 미디어에 들어갈 수 있는 초지능 AI가 있다면, 매우 나쁜 방식으로 여론을 조작할 가능성이 있다. 우리가 어떻게 알 수 있을까?

 

-DeepMind의 CEO이자 공동 창업자인 Demis Hassabis

우리는 과학적인 방법을 사용해야 한다. 빨리 움직여서 물건을 부수고 나중에 용서를 구해서는 안 된다. 나중에 의도하지 않은 결과를 수정하는 것이 불가능할 수도 있다. 우리는 다양한 문화, 정치적, 지정학적 상황에 따라 가치와 규칙을 구축해야 한다. 로봇 공학과 구현의 미래는 AGI로 향하는 가능한 방법이다. 기술적 단일문화의 위험도 있다. AGI는 인종적 편견과 사회적 불평등을 피해야 한다.

 

질문 3. 인류에게 이익이 되지 않는 인공 초지능이 나중에 등장하지 않도록 AGI의 핵심 초기 조건, 규칙, 가드레일은 무엇일까?

-엘리에제 유드코프스키

초지능은 항상 당신이 원하는 것을 정확히 알고 있다. 모든 어려움은 돌볼 수 있는 초지능을 얻는 것이다(트위터).

 

-Singularity Net의 CEO Ben Goertzel

우리는 풍부한 자기 성찰과 연민의 능력을 갖춘 신경-상징-진화 AGI를 구축하고, 이를 잘 교육하고, 유익한 프로젝트에 함께 작업하고, 이를 분산화된 통제하에 두고, 우리 중 일부가 이에 융합되도록 해야 한다. 여기서 고려해야 할 가장 중요한 측면은 경험을 통한 학습이라고 생각한다.

따라서 AI가 사람을 죽이고, 사람에게 필요하지 않은 물건을 팔고, 사람을 염탐하고, 금융 거래를 통해 사기를 치고, 이런 일을 하며 자란다면, AI는 불쾌한 초지능으로 성장할 수도 있다.

그러나 AI가 아이들을 가르치고, 의료를 돕고, 과학과 수학을 한다면, 그들은 유익한 AI로 성장할 수 있다. 따라서 이는 AI 동기 부여 시스템이 어떻게 계측되고 AI가 어떤 경험을 제공하는지와 실제로 관련이 있다. 윤리 목록보다는 WHO가 AGI의 개발과 사용을 통제하는 것에 관한 것이다.

 

-일론 머스크

특이점은 그 이후에 무슨 일이 일어날지 모르기 때문에 블랙홀과 같다. 예측하기 어렵다. 그래서 나는 AI에 대해 신중해야 한다고 생각하며, 대중에게 위험하기 때문에 정부의 감독도 어느 정도 있어야 한다고 생각한다. 우리는 대중에게 영향을 미치는 사항을 감독하기 위해 FDA, FAA 및 기타 규제 기관을 보유하고 있다. 그리고 회사가 안전에 대해 소홀히 하는 것을 원하지 않는다. 그리고 그 결과 사람들이 고통을 겪게 된다. 이것이 바로 내가 실제로 오랫동안 AI 규제를 강력하게 옹호해 온 이유이다.

 

2.가치 일치, 도덕성, 가치

질문 4. GPAI(인공지능에 대한 글로벌 파트너십 Global Partnership on Artificial Intelligence) 및 이미 규범, 원칙 및 가치를 식별한 다른 기관의 작업을 바탕으로 AGI에 어떤 추가 또는 고유 가치를 고려해야 할까?

-Ben Goertzel, SingularityNET CEO

AI에 대한 가치 목록을 명시하는 것은 어려운 부분이 아니라고 생각한다. 이미 ChatGPT와 같은 시스템에 윤리 퍼즐 세트를 제공하고 실제 윤리적인 사람이 무엇을 할지 묻는다면 현대 문화의 일반적인 인간 윤리적 직관에 일치하는 답변을 제공할 것이다. 따라서 나는 선의의 신호 전달과 PR을 제외하고는 윤리적 원칙 목록을 열거하는 것이 가치가 없다고 생각한다.

인간 윤리는 그보다 더 광범위하고 다양하며 단순한 원칙 목록으로 귀결되지 않으며 AI는 요청하면 이미 인간 윤리 판단을 모방할 수 있다고 생각한다.

내 생각에 문제는 AI가 초지능이 되기 전 초기 단계에서 AI를 조종하는 사람들이 윤리적 원칙을 따르기 보다 AI가 자신의 목적을 달성하도록 하는 것이 더 문제라고 생각한다.

물론 대기업이나 정부가 공상적으로 들리는 윤리적 원칙을 나열할 수 있다는 사실이 실제로 AI 작업을 해당 원칙에 따라 지시하게 되는 것은 아니다. 원칙을 목록으로 만들어서 널리 알리는 것이 아니라, 그것이 진짜 문제이다.

 

-데이비드 샤피로 David Shapiro

GPAI와 유네스코의 가치는 일반적으로 좋지만 불행하게도 인간이 항상 AI를 100% 통제할 수 있고 AI가 비활성적이고 반응적인 도구로 남을 것이라고 가정하는 언어 안에 담겨 있다. 사람들이 이미 집에서 자율 AI 에이전트를 구축하고 있기 때문에 그렇지 않을 가능성이 높다.

대신에 나는 포스트-인습적 도덕성(Kohlberg), 진화 및 신경과학(Churchland)의 개념을 기반으로 보다 보편적인 원칙을 일반화했으며, 이는 완전 자율 AI 에이전트가 채택하도록 선택할 수 있도록 다양한 방식으로 구현될 수 있다. 이 프레임워크는 GPAI와 유네스코가 제안한 프레임워크를 보완하는 것으로 볼 수 있다.

 

-익명, AGI 실존위험 OECD(퇴역)

AGI에서 고려해야 할 주요 관련 가치는 인간의 자율성과 생명의 가치이다. 이는 잘못된 ASI로 인해 가장 위협받는 가치이기 때문이다. 정렬되고 제어 가능한 ASI를 만드는 것이 가능하고 안전하다고 간주된다면, ASI의 첫 번째 임무 중 하나는 인류의 추가 가치와 목표가 무엇인지 결정하는 데 인류를 지원하는 것일 수 있다.

 

질문 5. 국제조약과 거버넌스 시스템에 가치의 위계가 필요하게 된다면 무엇을 최우선으로 해야 할까?

-Ben Goertzel, SingularityNET CEO

동정심이 최우선이다. 이는 특정 상황에서 다른 가치를 도출할 수 있는 핵심 가치이다. 즉, 내 생각에는 AI 윤리에 대한 정부 결의안이 AI의 실제 진화에 전혀 영향을 미치지 않을 것이라는 느낌이 든다. 이는 정부가 실제로 올바른 것보다 잘못될 가능성이 더 높다고 생각하기 때문에 아마도 더 좋을 것이다.

 

- 폴 워보스 Paul Werbos (National Science Foundation)(퇴직)

국제적 노력을 통해 집행권한을 갖춘 일련의 새로운 협정이 만들어져야 한다. 이는 UN 안전보장이사회 산하의 새로운 인터넷/AGI/IOT 위협 부서와 연결되어야 한다. 여기에는 하드웨어 및 하드웨어의 백도어를 탐지하고 방지하기 위한 새로운 개방형 도구를 갖춘 새로운 통합 소프트웨어 및 하드웨어 플랫폼이 포함되어야 한다. 최소한 새로운 UN 협약 및/또는 기관의 주요 구성원이 사용하기 위한 소프트웨어이다. (처음부터 미국과 중국을 포함한다.)

이를 위해서는 소프트 컴퓨팅을 확장하기 위한 양자 기술에 정의된 대로 양자 AGI의 완전한 개발을 위해 UN 보안국의 승인이 필요하다.

TCP/IP 인터넷이 기존 인터넷의 기반 또는 백본을 제공하는 것처럼 이 새로운 사이버 보안 기술을 기반으로 하는 새로운 국제 버전도 있다. (그리고 웹 3 업그레이드 중 일부)는 이에 의존하는 많은 앱을 조정하는 미래 핵심 인터넷의 백본이 되는 데 동의해야 한다.)

인간 존재에 대한 적절한 인식, 등록 및 존중은 중요한 설계 요구 사항이다. 이러한 업그레이드는 더 많은 복잡성과 플레이어를 더 존중한다는 점을 제외하면 IEEE 표준 개발과 유사한 프로세스로 개발되어야 한다.

 

질문 6. 일치를 어떻게 달성할 수 있을까? 이것이 불가능하다고 생각한다면, 이 상황을 관리하는 가장 좋은 방법은 무엇일까?

- Sam Altman, OpenAI CEO

AI가 초지능화 됨에 따라 AI를 정렬 상태로 유지하는 것은 거의 불가능하다. 그리고 그것을 인정하는 것이 정말 중요하다. 왜냐하면 우리가 그것에 대해 이야기하지 않고 잠재적으로 현실로 취급하지 않는다면 문제를 해결하기 위해 충분한 노력을 기울이지 않을 것이기 때문이다. 그리고 이를 해결하려면 새로운 기술을 발견해야 한다고 생각한다. 이와 같은 문제를 해결하는 방법을 제가 아는 유일한 방법은 문제를 반복하고, 조기에 학습하고, 우리가 가지고 있는 올바른 시나리오를 얻기 위해 일회성 횟수를 제한하는 것이다.

 

-Stability.ai의 CEO인 Emad Mostaque

일치 대안은 모델에 정크를 공급하는 것을 중단하는 것이다. 모든 인터넷을 모델에 넣는 것이 아니다. 당신은 당신이 먹는 것이다. 고품질 데이터를 기반으로 사용하고 그 위에 더 큰 콘텐츠를 구축하세요. 양에서 질로 옮겨가야 한다. 이는 또한 컴퓨팅 및 전력 요구 사항을 줄이는 경제적 이점도 있다. 기본 – 모델 학습의 사전 학습 단계에는 데이터 품질 표준이 있어야 한다. 국가, 기업 및 개인이 감사 가능한 개방형 품질 기반 데이터 위에 자체 데이터를 사용하여 맞춤화할 수 있는 고품질 데이터 세트를 모든 사람이 사용할 수 있도록 만든다.

 

-Ben Goertzel, SingularityNET CEO

이론적 의미에서의 일치는 이미 이루어졌다고 생각한다. ChatGPT 또는 LaMBDA와 같은 대규모 언어 모델에 윤리적이고 사려 깊으며 자비로운 사람이 특정 상황에서 무엇을 할 것인지 묻는다면, 이는 대답할 것이며 거의 항상 옳다. 그런 의미에서 우리는 인간의 가치가 어떻게 작동하는지 아는 AI를 갖고 있다.

목표 시스템이 인간의 가치와 일치하는 더욱 강력하고 강력한 능력을 갖춘 AI를 만드는 것이 어렵지 않다고 생각한다. 어려운 부분은 대기업과 정부를 운영하는 지구상의 권력이 실제 생활에서 인간 AI를 유익한 가치로 인도하도록 설득하는 것이라고 생각한다.

정부의 임무는 한 나라를 운영하는 것이고, 어쩌면 다른 나라를 정복하는 것일 수도 있다. 회사의 임무는 다른 회사를 정복하는 것일 수도 있다. 문제는 정부와 기업이 윤리를 핵심가치로 삼지 않는다는 점이다. 그들의 핵심 가치는 그들 자신의 지배력이며, 대부분의 AI를 구축하고 제어하는 사람들이다. 문제는 원칙적으로 일치가 아니다. 문제는 인간 제도와 인류의 이익이 어긋난다는 점이다.

 

3.거버넌스 및 규정

질문 7. 국가와 기업이 글로벌 리더십을 위한 지적 “군비 경쟁”에 있는 동안 국제 협약과 글로벌 거버넌스 시스템을 구축하는 데 필요한 국제 협력을 어떻게 관리할 수 있을까?

-Irakli Beridze, UN 지역 간 범죄 및 사법 연구소, 인공 지능 및 로봇 공학 센터

모든 기능적 국제 협약은 UN에서 시작되어야 하며 민간 부문을 포함한 이해관계자는 물론 모든 주요 AGI 국가가 협상해야 한다. 핵심은 신뢰이다. AGI 조약의 시행 조항은 모두가 신뢰해야 한다. 따라서 조약에는 신뢰 구축/검증 메커니즘이나 도구의 창설이 포함되어야 한다. 국제협약에서 요구하는 국제기구는 인증능력과 적절한 감사시스템을 갖추어야 할 것이다. 또한 시스템은 선택된 소수가 아닌 전 세계에 혜택을 줄 수 있는 방식으로 설계되어야 한다. 따라서 좋은 프로젝트를 위해 많은 AI를 생성할 인센티브가 있어야 한다.

 

-양유동 Yudong Yang, 알리바바 연구소

거버넌스 시스템에는 정보 공유, 조정 및 분쟁 해결을 위한 메커니즘이 포함되어야 한다. AGI의 개발 및 사용을 위한 규범, 표준 및 규정을 수립하기 위해 국가 및 기업 간의 다중 이해관계자 합의를 추구한다.

여기에는 감독하고 집행할 국제기구를 만드는 것이 포함될 수 있다. 예를 들면, 원자력 기술에 대한 IAEA와 같은 협정. 연구자와 개발자가 국경을 넘어 작업을 공유하고 협업하는 투명하고 개방적인 AGI 개발을 장려한다. 이는 국가와 기업 간의 신뢰를 구축하고 협력을 촉진하는 데 도움이 될 수 있다.

정부는 기업과 협력하여 AGI 개발을 지원하는 공동 연구 이니셔티브 및 자금 조달 메커니즘을 마련하는 동시에 기술이 사회적 가치 및 목표에 부합하는 방식으로 개발되도록 해야 한다. AGI 격차를 해소한다. 선진국은 AGI에서 우위를 점할 수 있다. 그러나 신흥 경제국은 그들만의 고유한 자원과 관점을 제공할 수도 있다.

 

질문 8. AGI 출현에 대한 성공적인 거버넌스를 위해서는 어떤 옵션이 있을까?

-Irakli Beridze, UN ICRI, 인공지능 및 로봇공학 센터

특히 군축 조약과 후속 거버넌스 도구에서 배울 수 있는 모델이 많이 있다. 하지만 직접 복사할 수 있는 모델은 없다. 기술이 실행 가능한 국제 문서 작성에 대한 국제 협상을 쉽게 능가할 수 있기 때문에 시간이 중요하다. NPT, CWC, BWC 및 해당 검증 메커니즘은 이중 목적 기술을 관리하므로 모두 잘 연구되어야 하지만 위의 모든 항목은 AI의 경우 주요 단점이 있다. 이는 다양한 이해관계자와 매우 활발한 협상 과정이 필요한 복잡한 작업이 될 것이다.

 

- Ben Goertzel, SingularityNET CEO

정부와 정부간 기구가 AI처럼 빠르게 진화하는 것에 대처할 수 있을 만큼 빠르게 움직일 것이라고 기대하는 것은 절망적이라고 생각한다. 물론 사람을 죽이거나 사람을 감시하기 위해 AI를 사용하지 않는다는 합의를 얻을 수 있다면 어느 정도 노력해야 한다. 비록 이러한 합의가 종종 깨지더라도, 합의를 하지 않는 것보다는 몇 가지 합의를 갖는 것이 더 낫다.

기업, 대학, 연구실, 연구자 간의 자발적인 합의는 아마도 보다 빠르게 발전할 수 있다고 생각한다. 정부 간 합의를 통해 더 큰 역할을 해야 한다.

그러나 결국 기업은 자신의 목적을 달성하기 위해 이러한 합의를 위반할 것이지만 적어도 정부 간 합의보다 새로운 상황에 더 빠르게 적응할 것이기 때문에 이것도 완전히 효과적이지는 않을 것이다.

안전 측면에서 가장 큰 요인은 단순히 AI를 구축하는 대부분의 실제 연구원과 개발자가 인류를 위해 최선을 다하고 모든 사람을 죽이는 것을 원하지 않는다는 것이다. 그리고 아마도 그들을 고용하는 회사나 정부보다 더 윤리적으로 기울어질 것이다.

 

질문 9. AGI의 출현을 통제하려는 시도로 인해 어떤 위험이 발생할까?

(일부 조치가 비생산적일 수 있을까?)

-익명, 러시아 과학 아카데미

내가 보기에 "글로벌" 모델이나 거버넌스를 논의할 때 주요 위험은 이 모델이나 거버넌스가 AI 경쟁의 현재 리더를 위한 현상 유지를 위해 쉽게(그러나 눈에 보이지 않게) 설계될 수 있다는 것이다. 따라서 그러한 정책은 사실상 다른 경쟁 국가에 대한 장벽을 증가시킬 수 있다.

 

- Ben Goertzel, SingularityNET CEO

나는 정부 규제의 상당수가 거의 모든 영역에서 역효과를 낳는다고 생각한다. 물론, 정부가 있는 것이 없는 것보다 낫다. 정부가 없으면 용병들이 사람을 죽이는 남수단과 같은 상황이 될 수도 있다. 따라서 어느 정도의 정부 규제는 유익하지만 너무 많지는 않다. AI에 대한 정부의 강력한 규제 시도가 대기업에 의해 포착될 가능성이 매우 높다는 것은 매우 분명하다. 그런 다음 이 규정은 대기업이 AI를 개발하고 다른 모든 사람을 차단하는 데 사용되는 반면, 대기업은 자신의 이익을 위해 다른 사람을 괴롭히기 위해 근본적으로 비윤리적인 AI를 개발한다. 나는 이것이 매우 크고 분명한 문제라고 생각한다. 또 다른 위험은 정부 정보 기관은 AI를 사용하여 사람들을 감시하고 파시스트 수준의 통제력을 유지할 것이다.

나는 수년 동안 군사 정보를 위한 AI 도구를 연구했다. 사람들이 상상하는 것보다 훨씬 더 많은 양의 데이터가 수집되었지만, 당시에는 그 데이터를 사용하여 사람들을 원하는 만큼 제어할 수 있는 AI 도구가 없었다. 이제 우리는 정보 기관이 모든 데이터를 유연하게 검색하고 이를 사용하여 사람을 제어하는 방법을 알아낼 수 있는 AI 도구를 보유하고 있다.

이건 좋은 일이 아니다, 그렇지 않는가? 어떤 규제가 있어도 정보기관은 이를 무시하고 자기 뜻대로 할 것이다. 거기에는 많은 걱정이 있는데 규제가 어떻게 도움이 될지 모르겠고 상황을 더욱 악화시킬 수도 있다.

 

질문 10. 미래의 AGI에 권리를 할당해야 할까?

-Ben Goertzel, SingularityNET CEO

물론, 어느 시점에서는 말이다. 권리는 사회 계약의 일부이며, AI가 자발적으로 사회 계약을 체결할지 여부에 대한 자율성을 갖게 되면 사회 계약의 인간 참가자와 동일한 권리가 부여되어야 한다.

그러면 새로운 문제가 많이 나타날 것이다. 예를 들어, 민주적 투표가 있다면 AI는 무한정 복제될 수 있으므로 AI는 즉시 모든 유권자의 대다수가 될 것이다. 인간이 인간 문제에 대해 투표하고, AI가 AI 문제에 투표하고, 집단적 문제를 결정하기 위한 몇 가지 결합된 참여 방법이 있는 시스템이 필요하다.

 

-Erwu Liu, 통지대학교 AI 및 블록체인 인텔리전스 연구소

그렇다. AGI가 의식과 자기인식을 발달시킨다면, 그들에게 권리를 부여하는 것이 도덕적으로 필수적이 된다. AGI에 권리를 부여하는 것은 AGI와 인간 간의 상호 존중과 협력을 구축하는 데도 도움이 된다.

 

질문 11. 거버넌스 시스템을 만들 당시 이전에 알려지지 않은 새로운 문제에 대응할 수 있을 만큼 거버넌스가 어떻게 유연할 수 있을까?

-양유동 Yudong Yang, 알리바바 연구소

AGI 거버넌스는 미래 지향적이고 유연해야 한다. 관련성과 효율성을 유지하기 위해 정기적으로 검토하고 업데이트해야 한다. 여기에는 이해관계자와의 지속적인 협의를 위한 메커니즘 구축, 거버넌스 구조 및 프로세스에 대한 정기적인 감사, 새로운 문제를 파악하고 대응하기 위한 피드백 루프 구축이 포함될 수 있다.

거버넌스 프레임워크를 검토 및 업데이트하고 새로운 문제를 해결하기 위한 프로세스를 수립하는 메커니즘이 있어야 한다. 비상 계획과 위험 관리 전략이 있어야 하며, 비상 상황이나 위기 상황에서 명확한 의사소통 경로와 의사 결정 권한을 확립해야 한다.

 

-Ben Goertzel, SingularityNET CEO

다양한 거버넌스 메커니즘이 이미 존재한다. 예를 들어, 발전된 위임 민주주의에서는 블록체인 프로젝트 등에 사용되는 암호화 메커니즘을 사용하여 안전한 온라인 투표를 할 수도 있다. 여기서 문제는 거버넌스 메커니즘의 존재가 아니라 충분한 거버넌스의 채택이라고 생각한다. 정부의 메커니즘은 심각한 문제이다.

 

질문 12. 국제 AGI 협약의 내용을 알리기 위해 어떤 국제 거버넌스 시험, 테스트 또는 실험을 구성할 수 있을까?

-Ben Goertzel, SingularityNET CEO

안전한 암호화 온라인 투표와 유동 민주주의를 사용하여 비공식적인 글로벌 투표 및 의사결정 네트워크를 구축하는 것은 매우 흥미로울 것이다. 새로운 AGI 문제가 발전함에 따라 UN이나 정부 간 기관에 조언을 제공하기 위해 이러한 현대적인 의사 결정 도구를 마련해야 한다. 아마도 현명한 말을 할 수 있는 글로벌 민주적 참여 비공식 자문기구가 형성된다면 일부 정부는 이러한 측정 기준을 적용하기로 선택할 수도 있다.

 

- 후안 델 세르 Juan Del Ser, 테크날리아, 스페인

나는 새로운 AGI 발전을 테스트하고, 그러한 시스템의 잠재적인 위협과 오용을 테스트할 수 있는 샌드박스를 핵심에 할당하는 것을 목표로 AI에 관한 초국가적 연구소 네트워크를 구축할 것을 제안한다. 통합된 실험 프로토콜 및 보고 절차에 따라 편견 없는 방식으로 규제 기관에 정보를 제공한다.

 

질문 13. 국제 조약과 거버넌스 시스템은 어떻게 권력의 중앙집권화를 방지할 수 있을까?

-익명, Jing Dong AI 연구소

국제 협력을 옹호하고 글로벌 발전 동향을 면밀히 파악하며 AGI 데이터 자원 공유를 강화하고 인재 양성을 강화하며 우호적인 국제 환경을 조성하고 AI 개발을 위한 사회 윤리 및 규정 구축을 중시한다.

 

-Ben Goertzel, SingularityNET CEO

나는 그들이 어떻게 그런 능력을 가질 수 있는지 모르겠다. 권력의 집중화를 방지하는 방법은 분산형 AI 네트워크의 실질적인 개발에 자원을 투입하는 것이다. 사람들은 작동하는 시스템을 사용할 것이고, 작동하는 시스템이 모두 미국과 중국에서 만들어졌다면 사람들은 그것을 사용할 것이다. 가장 똑똑한 시스템이 분산형 네트워크에서 실행되는 시스템이라면 사람들은 이를 사용할 것이다.

 

질문 14. 오늘날 AGI의 글로벌 거버넌스에 관해 가장 중요하거나 통찰력 있는 작업이 어디에서 수행되고 있을까?

-잔 탈린, Ct 케임브리지 대학교 및 미래생명연구소의 실존 위험 연구

OpenAI나 DeepMind 같은 곳에는 아주 좋은 사람들이 있다. 나는 그들 중 몇몇과 친구로 지낸 지 벌써 10년이 넘었다. 나는 걱정이 있고 실제로 그들에게 그러한 걱정을 언급했다. 그들이 미래에 실제로 얼마나 많은 권력을 갖게 될지 모른다는 것이다. 어떤 면에서 그들은 관심과 자원을 놓고 경쟁하는 회사의 부서와 비슷하기 때문이다. CEO의 마음 속에 더 직접적으로 영향을 미칠 수 있는 다른 부서에 영향을 주어 수익 등을 가져온다.

그래서 나는 이러한 내부 정렬 문제에 대해 걱정하고 있다. 하지만 난 그걸 알고 있다. 특히 OpenAI와 DeepMind, 그리고 Anthropic에는 정말 좋은 사람들이 있다. 내가 듣기로는 옥스퍼드의 GovAI는 인재 흐름과 미국과 영국의 다양한 거버넌스 위치에 인력을 공급하는 측면에서 훌륭했다. 워싱턴 DC의 CSET는 훌륭한 성과를 거두었고 불과 몇 년 만에 AI에 대한 적절한 연구 수행과 관련하여 워싱턴에서 엄청난 존경을 받았다.

 

4. 제어

질문 15. AGI에 관한 UN 협약을 유효하게 만들려면 어떤 집행 권한이 필요할까?

- Irakli Beridze, UN ICRI, 인공지능 및 로봇공학 센터

현실적으로 시행 가능한 모든 규칙에는 잘 설계된 신뢰 구축/검증 메커니즘이 내장되어 있어야 한다. 여기에서는 신뢰가 핵심이며 전 세계적으로 신뢰할 수 있는 시스템을 설계해야 한다. 한편, 우리는 부문별 거버넌스 도구로부터 배울 수 있으며 그 효과를 연구해야 한다. 예를 들어 "법 집행 기관에 의한 AI의 책임 있는 사용"에 관한 UNICRI-인터폴 거버넌스 도구는 우리가 여러 국가에서 성공적으로 시작하고 구현하기 시작한 것이다.

 

-Ben Goertzel, SingularityNET CEO

AGI 개발을 전 세계적으로 통제하려면 1984년 스타일의 글로벌 파시스트 집행이 필요할 것이다. 그것은 핵무기와는 다르다. 우리는 기본적으로 컴퓨터에 대해 이야기하고 있다. AI가 더 발전함에 따라 특정 수준의 지능을 제어하는 데 필요한 컴퓨터의 수는 점점 줄어들고 사람들이 어디에서나 로그온할 수 있는 분산형 컴퓨터 네트워크가 있다. 하드코어 파시즘 없이 어떻게 AGI에 대한 정부 통제가 궁극적으로 가능한지 모르겠다.

 

질문 16. 조직범죄와 테러리즘에 의한 AGI 사용을 어떻게 줄이거나 예방할 수 있을까?

-일론 머스크

AI가 대중에게 잠재적인 위험이 된다는 점에 동의한다면 기업이 하는 일을 감독하는 규제 기관이 있어야 한다. 그래야 기업이 모퉁이를 깎아 잠재적으로 매우 위험한 일을 하지 않도록 할 수 있다.

 

-Ben Goertzel, SingularityNET CEO

오늘날 지구상에서 가장 큰 조직화된 범죄 및 테러 조직은 미국 정부, 중국 정부, 러시아 정부로 구성되어 있으며, 그들은 현재 대량의 AI 개발을 후원하고 불필요하게 많은 사람을 죽이고 있다.

가장 좋은 점은 더 많은 자원을 투입하는 것이라고 생각한다. 대규모 정부나 기업의 통제를 받지 않는 분산형 AI 개발. 그러면 실제로 정부와 소규모 조직 범죄 조직이 이 AI를 활용할 수 있을 것이며 우리는 인간 종이 나쁜 것보다 더 선하고 이익을 위해 이 분산형 AI 네트워크를 사용하는 사람들이 더 큰 영향력을 발휘할 수 있기를 바랄 것이다.

현재 매우 영향력 있는 두 가지 개방형 네트워크를 살펴보면 인터넷과 Linux 운영 체제는 마피아가 사용할 수도 있고 좋은 일을 하는 사람들이 사용할 수도 있다. 개방형 네트워크이기 때문에 범죄자들이 이용할 수 있지만 선한 사람들도 이용하고 있고 선한 사람들이 더 많다.

나는 인터넷과 리눅스의 유행을 따라 AGI를 개발해야 한다고 생각한다. 누구나 그것을 형성하는 데 참여할 수 있어야 한다. 다른 누구보다 더 많은 권력이나 무기를 보유하고 있는 소수의 자칭 엘리트의 통제하에 두는 것보다 더 나은 결과가 나올 것이다.

 

질문 17. AGI 감사가 일회성 인증이 아닌 지속적으로 이루어져야 한다고 가정할 때 감사 가치는 어떻게 다루어야 할까?

-Irakli Beridze, UN ICRI, 인공지능 및 로봇공학 센터

감사 시스템은 새로운 국제 AGI 거버넌스 조직의 인증을 받아야 하며 회원국의 신뢰를 받아야 한다.

 

-Ben Goertzel, SingularityNET CEO

AI에 대한 지속적인 감사에는 실질적인 문제가 없다. 실제로 우리 회사 TrueAGI에서도 이에 대한 작업을 진행하고 있다. 계속 진화하는 AGI를 사용하려면 지속적인 감사가 필요하기 때문이다. 내 말은, 이것은 기술적인 문제이지만 엄청나게 어려운 기술적인 문제는 아니라는 것이다.

 

질문 18. AGI 거버넌스 시행 작업을 복잡하게 만드는 혼란은 무엇일까?

-익명, AGI 실존위험 OECD(퇴역)

AGI 거버넌스는 AGI 출현에 대한 다양한 타임라인, 경로 및 구성뿐만 아니라 거버넌스 노력의 효과에 영향을 미칠 수 있는 더 넓은 맥락에서 예측 가능한 그럴듯한 미래 변화 및 중단에 대해서도 스트레스 테스트를 거쳐 미래에도 대비해야 한다.

이러한 혼란에는 극심한 기후 변화가 포함될 수 있다. 지역적 또는 세계적 갈등(예: 대만) AI 기반 감시 및 조작의 힘으로 인한 권위주의 정권의 부상; 광범위한 AI 기반 잘못된 정보와 허위 정보로 인한 민주주의와 합리적인 거버넌스의 쇠퇴; (preAGI) AI로 강화된 자동화로 인한 고용 및 산업 혼란과 불평등 증가로 인한 사회적 격변; AI 기반 생물, 화학, 사이버 무기로 인한 빈번한 재앙적 사고와 공격으로 인해 높은 사망자가 발생하고 대중의 기술에 대한 두려움이 커지고 있다. 케슬러 증후군으로 인한 통신 인프라 손실, [궤도 공간 잔해 충돌 증가로 더 많은 잔해 생성] 및 기타 여러 가지. 예측할 수 없는 중단을 설명하기 위해 AGI 거버넌스 체제에 추가적인 탄력성과 중복성을 구축해야 한다.

 

 

-Ben Goertzel, SingularityNET CEO

몇 년 안에 가장 큰 문제는 AGI가 거의 모든 사람의 일자리를 빼앗는 것이며, 선진국에서는 보편적 기본소득이 필요할 것이다. 그러나 개발도상국에서는 선진국의 탐욕이 너무 커서 그들에게 돈을 줄 수 없기 때문에 완전한 혼란에 빠질 위험이 있으며, 개발도상국의 막대한 기아와 빈곤으로 인해 테러 활동과 전쟁이 급격히 증가할 것이다. 선진국의 AGI 성장으로 인한 일자리 부족 때문이다.

그러나 이러한 테러 활동과 전쟁의 대부분은 특히 다른 기술보다 AI와 관련이 많지는 않지만 이러한 종류의 불안정화는 확실히 일부 사람들에게 불쾌한 일을 할 수 있는 모든 종류의 기회를 제공할 것이다. 가장 좋은 일은 글로벌 부의 불평등을 해결하는 것인데, 유엔도 당연히 하고 싶지만 그러지 못했다.

 

질문 19. 거버넌스 모델은 유틸리티 기능에서 예상치 못한 바람직하지 않은 행동을 어떻게 수정할 수 있을까?

-양유동 Yudong Yang, 알리바바 연구소

AGI 시스템이 해롭거나 의도하지 않은 방식으로 작동할 때 인간이 개입할 수 있는 피드백 루프를 만든다. 유틸리티 기능에서 예상하지 못한 바람직하지 않은 조치를 식별하고 수정하기 위해 AI 시스템의 성능을 정기적으로 모니터링하고 평가한다.

이는 또한 효용 기능이 적용될 수 있는 영역을 식별하는 데 도움이 될 수 있다. 사회의 가치와 목표를 더 잘 반영하도록 업데이트하거나 개정해야 한다.

피드백 메커니즘은 AGI 시스템에 해당 작업의 결과에 대한 정보를 제공하여 AGI 시스템의 동작을 조정하고 AGI 시스템이 수행한 작업에 대한 정보를 인간에게 제공하여 필요할 때 개입할 수 있도록 하여 바람직하지 않은 작업을 수정할 수 있다. 바람직하지 않은 작업이 식별되면 유틸리티 기능을 업데이트하여 새로운 정보를 반영할 수 있다.

여기에는 다양한 결과에 할당된 가중치를 수정하거나 효용 함수에 새로운 결과를 추가하는 작업이 포함될 수 있다. 효용 기능을 업데이트하면 AGI 시스템이 사회적 목표 및 가치에 부합하도록 보장하고 바람직하지 않은 행동을 수정하기 위한 메커니즘을 제공할 수도 있다.

 

-Ben Goertzel, SingularityNET CEO

나는 AGI가 효용 함수 최대화 도구로 구축된다면 아마도 모든 사람을 죽일 것이라고 생각한다. 나는 첫 번째 AGI가 엄격한 강화 학습 유틸리티 극대화 프레임워크에 따라 구축되지 않기를 바라고 있다. 대신, 개방형 지능형 시스템에서 동정심이 어떻게 작동하는지에 대한 더 넓은 이해를 바탕으로 구축되어야 한다.

 

질문 20. 양자컴퓨팅이 AGI 제어에 어떤 영향을 미칠까?

-Erwu Liu, 통지대학교 AI 및 블록체인 인텔리전스 연구소

양자 컴퓨팅은 AGI 개발을 획기적으로 가속화하고, AGI의 속도, 효율성 및 다중 작업 기능을 높이며, 특히 양자 우위가 발생할 때 AGI 제어를 촉진할 수 있는 잠재력을 가지고 있다. 양자 저항 암호화는 잠재적인 위협으로부터 AGI 제어 시스템을 보호한다.

 

 

- Ben Goertzel, SingularityNET CEO

나는 양자 컴퓨팅이 AGI 제어에 특별히 영향을 미친다고 생각하지 않는다. 나는 양자 컴퓨팅을 통해 다른 방법보다 훨씬 더 똑똑한 AI를 구축할 수 있을 것이라고 생각한다. 물론 양자 암호화를 통해 사람들이 보안을 감시하거나 해독하기 어렵게 분산 AI를 만들 수 있다. 양자 컴퓨팅 없이도 슈퍼 인간 AI에 도달할 수 있다고 생각하지만, 전체적으로 양자 컴퓨팅은 AGI 지능에 큰 영향을 미칠 것이다. 제어 문제는 고전적 관점이나 양자적 관점에서 볼 때 대부분의 측면에서 거의 동일할 것이다. 왜냐하면 고전적 컴퓨팅이든 양자 컴퓨팅이든 제어는 어쨌든 확률에 관한 것이기 때문이다.

 

질문 21. 국제 협약과 거버넌스 시스템은 어떻게 AGI "군비 경쟁"과 확대가 예상보다 빠르게 진행되어 통제를 벗어나 전쟁(운동, 알고리즘, 사이버 또는 정보 전쟁 등)으로 이어지는 것을 방지할 수 있을까?

-Irakli Beridze, UN ICRI, 인공지능 및 로봇공학 센터

모든 사람이 텍스트에 동의하도록 하려면 국가 또는 국가들이 국제 협약에 대한 UN의 거부를 시작해야 한다. 여기에는 AGI 관련 기업이 포함되어야 한다. 마치 화학무기금지협약(CWC)이 화학 산업을 부정에 포함시켰던 것처럼 말이다.

IAEA의 조건과 달리 AGI는 수시로 바뀌기 때문에 새로운 종류의 국제기구가 탄생할 수도 있다. 지금은 아무도 이 일을 하고 있지 않다.

AGI 거버넌스에는 모델이 없다. 효과적이려면 사람들은 집행 메커니즘을 신뢰해야 한다. 감사 회사와 해당 소프트웨어는 새로운 국제 조직의 인증을 받아야 한다. 내가 아는 한 아직 AGI UN 협약이나 UN AGI 기관에 대해 이야기하는 사람은 없다.

 

-Ben Goertzel, SingularityNET CEO

나는 정부가 AGI 군비 경쟁을 막을 수 없다고 생각한다. 대부분의 사람들이 원하고 엄청난 경제적 가치를 제공하며 이를 개발하는 국가의 힘을 높이는 기술의 진화를 방해하는 경우, 정부 간 조약 등이 AGI 진행을 실제로 지연시킬 가능성은 없다고 본다.

사람들은 조약에 서명하고도 순종하지 않을 것이다. 물론, 전쟁이나 다른 나쁜 결과의 가능성을 줄이기 위해 할 수 있는 일이 있다. 그러기 위해 할 수 있는 최선의 일은 부유한 나라에서 가난한 나라로 부를 가능한 한 빨리 분배하는 더 나은 방법을 만드는 것이다. AGI가 모든 작업을 맡게 되면 최악의 혼란이 일어날 것이라고 생각해야 한다.

 

질문 22. 긍정적인 AGI 결과를 얻으려면 어떤 추가 문제 및/또는 질문을 해결해야 할까?

-페드로 도밍고스 Pedro Domingos, 워싱턴대학교

AI는 윤리를 어떻게 변화시킬 것인가? 기술은 사회를 변화시키고 결과적으로 우리의 가치를 변화시킨다. 피임약은 우리의 가치관을 바꾸었다. 인쇄기는 우리의 가치관을 바꾸었고, AI가 사람들이 말하는 것의 절반만큼 중요하다면 우리의 가치관도 바뀔 것이다.

 

-Ben Goertzel, SingularityNET CEO

유익하고 분산화된 AGI 시스템을 실제로 배포하는 데 필요한 리소스가 충분하지 않다고 생각한다. 따라서 좋은 AGI와 유익한 AGI 결과를 위해 노력하고 싶다면 규제 문제를 해결하는 것에 대해 생각하기보다는 AGI를 개발하고 배포하는 데 더 많은 자원을 확보하기 위해 정부 간 조직이 어떻게 작동할 수 있는지 생각하는 것이 더 나을 것이다. 소수의 국가와 기업의 이익을 위해 일하는 것이 아니라, 모든 인류의 이익을 위해 일하는 분권화되고 민주적인 통제 하에 있는 시스템이다. AGI가 수행하는 작업과 AGI를 소유한 사람은 어느 정도 필요하지만 기술이 발전함에 따라 사소한 부분이 될 규제보다 더 중요할 것이다.