본 논문은 인공지능(AI)의 장기적 영향에 대한 다양한 예측과 특히 모든 경제적 가치가 있는 작업에서 인간을 능가하고 노동을 완전히 자동화할 수 있는 변혁적 AI(TAI)의 잠재적 출현에 초점을 맞춥니다. TAI가 인류 멸망을 초래할 수 있다는 "AI 둠" 시나리오부터 전례 없는 경제 성장과 풍요를 가져올 "포스트 스캐시티" 시나리오까지 다양한 시나리오를 논의하며, 각 시나리오의 존재적 위험과 경제적 결과를 총체적 복지 측면에서 평가합니다. 분석 결과, 낮은 확률의 재앙적 결과라도 AI 안전 및 정렬 연구에 대한 대규모 투자가 정당화됨을 보여줍니다. 또한, 합리적인 개인은 멸종 위험을 완화하기 위해 상당한 자원을 할당할 것이며, 경우에 따라 TAI 개발 자체를 중단하는 것을 선호할 수 있음을 밝힙니다. 현재의 AI 안전 및 정렬 연구 노력은 TAI가 제기하는 존재적 위험의 규모와 긴급성에 비해 매우 부족하며, TAI의 잠재적 경제적 이점과 돌이킬 수 없는 피해 방지를 균형 있게 조정하기 위한 강력한 안전 장치가 필요함을 강조합니다.
