[AI 윤리 5번째 Newsletter: 딥페이크(Deepfake)] AI 윤리 제정의 주요 목표는 인간의 자유성, 존엄성, 그리고 저작권을 보호하는 데 있습니다. 그러나 AI 기술의 발전과 함께 윤리적 문제를 초래하는 주요 범죄와 금지 부문이 등장하고 있습니다. AI 범죄 순위를 살펴보면 딥페이크, 클론 피싱, AI를 이용한 개인정보 침해, AI 금융 사기 등 다양한 범죄 양상이 있습니다. 그 중 오늘은 딥페이크(Deepfake)를 활용한 범죄와 윤리 동향에 대해서 살펴보려고 합니다. *본 레터에서 작성된 이미지, 그래프는 직접 AI를 이용하여 제작한 것이니 무단 불펌은 금지합니다. 딥페이크의 정의 부터 살펴보면, 인공 지능 기술의 Deep Learning을 활용하여 기존 영상, 사진, 음성을 조작하여 가짜인 Fake 컨텐츠를 만드는 것이 합쳐서 Deep+Fake, 딥페이크라 지칭하는 합성어입니다. 딥페이크와 같은 기술은 원래 긍정적인 목적에서 개발되었으나, 악의적으로 사용될 경우 범죄와 악용 사례를 초례하였습니다. 이는 많은 기술이 본래의 의도와 다르게 부정적인 방식으로 활용되면서 발생하는 문제로, 윤리적·사회적 논의가 필요한 대표적인 사례로 볼 수 있습니다. 딥페이크의 양면성 딥페이크는 긍정적인 사용으로는 고인이 된 사람을 추모하는 목적에서 가족들이 영상이나 사진으로 활용되거나, 엔터테인먼트 사업에서 노년의 배우의 아역 시절로 얼굴을 재현하여 영화의 한 장면으로 활용되는 경우가 있죠. 목적뿐만 아니라 엔터테인먼트 사업에서는 AI Deeplearning 기술로 촬영 비용을 줄이거나 어려운 장면을 디지털 합성으로 대체하는 이점이 있습니다. 그리고 에듀 사업이나 가상 환경에서 트라우마를 재현해 심리적 회복을 돕는 치료 도구 등 다양하게 Deeplearning 기술이 긍정적으로 활용되고 있습니다. *본 레터에서 작성된 이미지, 그래프는 직접 AI를 이용하여 제작한 것이니 무단 불펌은 금지합니다. 그렇다면 딥페이크의 양면성인 부정적인 사례와 범죄 동향은 어떤게 있을까요? 2019년 네덜란드의 사이버보안 기업 딥트레이스(Deeptrace)의 보고서에 따르면, 온라인에 존재하는 딥페이크 영상의 약 96%가 성인물이며, 이러한 영상의 대부분이 특정 인물의 얼굴을 합성한 형태로 제작되고 있습니다. 한국에서는 딥페이크 성범죄 발생 및 검거 현황이 2021년 156건, 2022년 160건, 2023년 180건으로 꾸준히 증가하고 있으며 범죄 사실을 알리지 않거나 숨기는 경우도 있기 때문에 피해 건수는 더 많을 것으로 예상되고 있습니다. 2024년도는 AI의 활용의 가속도가 높아져 2024년도는 더 많을 것으로 예상되고 있습니다. [그래프1] 한국 딥페이크 범죄 발생 건수와 검거 건수 2021-2023 딥페이크 범죄 발생 건수 중 피해자 연령대는 2021-2023 딥페이크 사건 피해자 527명 중 59.8%인 315명이 10대로 나타났습니다. 2024년 1-9월까지 검거된 딥페이크 성범죄 피의자 387명 중 83.7%가 10대 청소년으로, 이 중 17.1%는 촉법소년이었습니다. 피해자와 피의자가 10대로 이루어져있다는 것은 AI를 활용한 딥페이크 범죄를 활용하거나 피해를 받고 있는 연령대가 10대로 이루어져있다는 것은 중요한 주안점입니다. [출처] 연합뉴스

[Artificial Intelligence Act (AI Act): EU AI 규제법 주요 법령 내용] AI 1번 레터에서 Artificial Intelligence Act AI Act EU 규제법에 대한 내용을 다루었었죠. 본 레터 관련해서 'AI Act 규제법에 주요 내용들을 더 다루어 줄 수 있나요?'라는 피드백을 적극 수용하여, AI 관련 첫 법령 제정 건, AI Act의 주요 법령과 내용, 단계에 대해 예시를 통해 쉽게 이해할 수 있도록 정리해왔습니다. [AI Act 위험 수준 분류 단계] 전면 금지 단계(Unacceptable Risk AI Systems) AI Banned 단계입니다. AI를 위험하게 다루는 것으로 간주하여, 본 시스템 혹은 서비스를 전면 금지 하는 단계입니다. - 금지하는 대상 : 인간의 자유성, 존엄성을 헤치거나 민주주의, 정치적과 같은 기본 가치를 위협하는 AI 시스템. (example : AI를 이용하여 CCTV를 통해 사람의 행동을 감시하는 기술, AI 기반의 가짜 뉴스를 생성하여 여론을 조작하거나 진실을 헤치는 기술, 개인의 데이터를 이용해 심리적 취약점을 찾아 특정 견해나 의견을 강요하는 시스템 등) 전면 금지단계는 더 쉽게 말하면 AI를 이용해서, 기본 적으로 사람들이 지켜야 할 사회의 규율들을 무너뜨리는 행위들을 금지하는 행위를 법적으로 규제한다. 라고 이해하면 쉽겠죠? 고위험 단계(High-Risk) AI 단계 한국의 고영향 단계와 비슷한 맥락입니다. 고위험 단계의 시스템에서는 직접적으로 분야 언급이 있습니다. 생체 인식(Biometric Identification), 공공서비스(Essential Services), 교육 및 직업 분야(Education and Vocational Training), 고용,노동 관리(Employment and Labour Management), 법 집행(Law Enforcement) 사회적으로 중요한 산업 군에서 AI를 사용할 때 엄격한 규제가 있으며, 규제 내용을 준수해야 AI 시스템을 출시할 수 있는 산업 군을 말합니다. -규제 가이드 : (1) 위험 관리 시스템 도입 : AI 시스템이 개발, 배포, 그리고 사용되는 모든 과정에서 발생할 수 있는 위험(오류, 편향, 보안 위협 등)을 체계적으로 평가하는 절차와 도구가 있어야 함. (2) 데이터 거버넌스 체계 구축 : 데이터 거버넌스는 AI 시스템에서 사용하는 데이터의 품질, 안전성, 보안, 투명성을 관리하는 체계를 말합니다. (3) 관리자(사람) 설정 및 투명성 확보 : AI 시스템이 작동하는 동안 감독하고 판단할 수 있는 관리자를 설정하여 필요한 경우 감독할 수 있는 시스템이 구성되어야 하며, 투명성은 AI임을 필히 고지하고 그 과정과 근거를 명확하게 하여 밝힐 수 있어야 하는 시스템이 구축되어야 함을 말합니다. 고 위험 단계는 AI를 사용하는 산업 군 중 규제해야할 만한 산업 군이나, 규제의 가이드를 준수하여 AI의 시스템을 출시해야 함을 의미합니다. 제한된 위험 단계 (Limited Risk AI Systems) 제한된 위험 단계는 AI를 활용하여 위험하다고 분류하지는 않지만, 사용자가 AI임을 알 수 있는 권리가 포함되며, 사용자가 AI와 상호작용 한다는 사실을 명확히 인지시켜야 합니다. (example : 챗봇, AI 생성 플랫폼, AI 서포트 제품) -규제 가이드 : (AI 투명성) 사용자가 AI임을 인지하지 못하고 사용을 하면 AI 정보와 실제 정보간의 혼동이 일어날 수 있어 AI를 활용한 것을 고지하고 사용할 수 있도록 합니다. (신뢰성) AI가 작동하는 방식을 알려주어 사용자 신뢰성을 높일 수 있도록 인지하게 합니다. 최소 위험 단계의 AI 시스템 (Minimal Risk AI Systems) 최소한의 위험 단계는 대부분의 규제에 면제되며, 위험하다고 판단되지 않는 단계를 의미합니다. 본 단계의 AI 활용은 사람의 기본 적인 규율이나 법에 어긋나지 않는 AI 활용 시스템으로 판단합니다. 최소 위험 단계의 AI는 주로 개인적 또는 상업적 용도로 사용되며, 사회적 위험이 낮은 시스템으로 간주합니다. (example : 소프트웨어 AI 캐릭터, 이메일 필터링의 AI 기술, 일정관리 AI 등) 개발 됨에 있어 효율을 위한 AI가 들어가져 있거나 자동화 시스템에 활용된 AI, 즉 편리를 위해서 AI 시스템이 도입되어 효율성을 위한 시스템은 인간의 기본 규율과 안전과 권리에 중대한 영향을 미치지 않으며, 오작동 해도 결과가 경미한 부분이기 때문에 최소 위험 단계로 정의합니다. AI Act는 규제 최소화를 위해서 혁신과 개발이 위축되지 않도록 해야한다고 합니다. EU의 AI Act는 AI를 악용하며 인간의 기본권을 침해하는 단계에서 규제가 강화됩니다. 다만, 구체적으로 어떻게 분류할 것인지. 또한 어떻게 분류할 것인지가 구체화됨에 따라 상당 부분 내용이 정리될 수 있을 것 같습니다. AI Act는 시행 일정이 2024년 발효 이후, 1단계 규제는 6개월 후 즉시 시행되며, 2단계는 발효 후 24개월 이내로 적용됩니다. 이 기간 안에 주요 내용들이 구체화되어 발효되지 않을까 생각하고 있습니다. 전면 금지 단계는 6개월 이후에 시행됩니다. 그리고 발효후 36개월 이내 단계적으로 시행된다고 하네요. AI Act의 동향은 지속적으로 관찰하여 레터화 할 예정입니다. 개인적 의견(참고만 해주세요) AI Act와 AI 기본법, 굉장히 유사합니다. 그리고 단어의 내용들까지도 비슷한 걸 보아 AI Act를 상당 부분 참고 하지 않았나 생각이 듭니다. 대신 AI가 한국에 특화된 산업과 특징들이 분명 있을것으로 보여집니다. 한국의 AI 동향을 살펴보면서 AI 기본법도 동향에 맞추어, 무조건 다른 선행을 따라갈 것이 아니라 한국의 AI 산업을 확대시키며, 불법적이고 규율에 어긋난 부분만 규제할 수 있는 규정으로 맞춰나가야할 것으로 보여집니다.

[AI 윤리 톺아보기3 : 대한민국 AI 기본법 제정] AI 기본법 국회 본회의 통과해, EU 이후 법안 제정 2번째 국가 저번에 EU AI Act 관련 내용들을 소개해드렸었던 것 같습니다. AI Act 글을 작성하며 한국이 AI에 매우 빠른 나라이기 때문에 한국에 대한 법령 제정도 조만간 이지 않을까 하면서 예측을 했었습니다. 인공지능(AI) 기본법 제정안이 12월 26일 국회 본회의를 통과하였습니다. AI가 산업에 활용되는 초기이고 국내 여러 일들이 많았기에 24년도 안에 처리가 불투명할 것으로 보여졌으나 법안이 통과되면서 EU Act 이후 2번째로 AI 법안을 제정한 국가가 되었습니다. 매우 의미있는 움직임입니다. 한국의 AI 기본 방향은 윤리를 고려한 10가지 자율적 규제였으나, 국가가 법령을 제정하여 빠르게 시행하는 것은 규제와 동시에 가이드라인을 마련하겠다는 내용인데, 본 기본법에 구성된 내용들을 몇가지 살펴보겠습니다. 생성형 AI 컨텐츠 워터마크 의무화 : AI 프로그램으로 생성되는 컨텐츠들은 무료버전에는 워터마크가 삽입되어있었으나, 유료일 시 워터마크가 제외되는 것이 통상적 기본이었으나, 생성형 AI로 합성한 미디어 물에는 워터마크 삽입이 의무화 고영향 AI 개념 도입 : AI Act와 일맥상통하는 부분입니다. 사람의 기본권을 침해하거나 영향을 줄 수 있는 인공지능 기술은 ‘고영향 AI’로 정의하고 이를 기반으로 하는 업계나 개인은 책임 강화할 예정 국내 대리인 지정 : 해외 산업 및 개인의 경우도 국내에서 AI 사업자로 분류되며, 국내 법을 적용하여 해외에서 법령을 어길시 국내 지정 대리인에게 책임을 묻는 프로세스로 안전성을 확보 예정 산업 지원과 협력 강화 : 대통령 소속 국가인공지능위원회 설립하여 AI 관련 주요 정책 사항을 심의하고 의결 과태료 부과 : 사업자 및 생성형 인공지능 사업자는 AI 사업자 의무를 위반하거나 시정명령 시 이행하지 않을 경우 과태료 최대 3,000만원 부과 AI 사업자 단순 민원 발생 시 정부 조사 : 단순 민원이나 신고가 들어와도 정부의 기업 현장 조사가 가능 기본법이라는 것은 앞으로 법안 시행 이전 세부 적인 조항들이나 내용들을 통해 AI 산업 부흥을 저지하지 않고 잘 활용할 수 있게 만들어야 하는데, AI Act에서는 AI Banned, AI High-Risk, AI Limited-Risk, AI Minimal/No-Risk로 관리의 대상을 나누었는데, 한국도 앞으로 ‘고영향 AI’를 어떤식으로 나누어 관리를 할 것 인가가 주요 쟁점이 되지 않을까 예측되며, AI를 활용하여 수익성을 내거나, AI 사업자의 경우 이 부분이 큰 영향을 받지 않을까 예상됩니다. 개인적 의견(참고만 해주세요) AI Act에서도 그랬지만 앞으로 세부적인 법령이 구체화해야 법안이 발현될 것이나, 한국에서 AI에 대한 법 제정이 빠르게 움직인 다는 것은 AI에 대한 관리에 대한 필요도가 시급하다고 보여지는 것이며, 한국에서 활용하는 생성형 AI는 앞으로 전부 라이선스에 상관없이 워터마크가 삽입된다면 활용도에 저해되지 않을까 하는 생각도 듭니다. (그리고 어떻게 다 워터마크를 삽입하게 할 것인가?에 대한 부분도) 이후 법안은 대통령 소속 국가인공지능위원회에서 관리 가이드를 디테일하게 작성하지 않을까하고 예측하고 있습니다. 다만 AI 관련 예산 책정이 이루어지지 않았으므로, AI 관련 사업을 진행하는 개인과 기업은 구체적으로 본 내용들을 어떻게 제정하고 관리할 것인가를 확인 추적해야될 필요가 있습니다. AI 스터디 올리는 주소 : https://www.linkedin.com/in/hyunleeofficial/

[Robert Downey Jr. says he 'intends to sue' all future executives who use his AI replica] (*모든 글에 수정사항이 필요하면 언제든지 연락주시기 바랍니다.) 최근 AI 기술을 활용하여 유명인의 얼굴과 목소리를 기반으로 숏폼 콘텐츠를 제작하거나 노래를 부르게 만드는 영상들이 온라인에서 쉽게 접할 수 있는 화제가 되고 있습니다. 특히 한국에서는 비비의 '밤양갱'을 AI로 여러 영화 배우나 가수들의 목소리로 바꿔 부르게 한 숏폼 콘텐츠가 큰 주목을 받은 바 있습니다. 이처럼 AI 기술은 놀라운 창작 가능성을 보여주고 있지만, 한국에서는 AI 윤리에 대한 논의나 경각심이 아직 크게 대두되지 않는 것이 현실입니다. (*AI 기술은 저작권 원작자의 허락이 있다면 문제가 없지만, 타인의 소스를 무단으로 재생산하는 것은 저작권 법령 위반이 될 수 있습니다.) 물론, 많은 사람들은 “공인의 얼굴과 목소리를 활용해 악의적인 행동을 하는 것이 아니라면 큰 문제는 아니지 않을까?”라며 받아들이는 경우도 있습니다. 하지만 반대로, 만약 누군가 내 얼굴과 음성을 AI로 복제하여 무언가를 만든다면, 과연 우리는 어떤 기분이 들까요? 그것이 긍정적이든 부정적이든 간에, AI 기술이 우리의 정체성과 권리에 미칠 영향에 대해 고민해야 할 시점이 아닐까 합니다. 최근 AI 관련 커뮤니티에서는 "특정 연예인의 목소리를 마케팅에 활용하려 하는데, 적합한 AI 음성 프로그램을 추천해주세요"와 같은 질문들이 자주 등장하고 있습니다. 이는 AI 기술이 다양한 분야에서 빠르게 확산되고 있음을 보여주는 한편, 윤리적 논의의 필요성을 환기시키고 있습니다. 글로벌적으로는 AI 윤리법(AI Act)과 같은 가이드라인이 점차 마련되고 있지만, 이에 대해 "AI의 자율성과 창의성이 제한되는 것 아니냐"는 우려도 제기되고 있습니다. 맞는 말입니다. 사실, AI는 창작 도구로서의 가능성이 크기 때문에, 창작 활동에 규제를 도입하는 것이 과연 적절한가 하는 의문이 드는 것도 자연스러운 반응입니다. 그러나 AI Act가 강조하는 핵심은 "AI를 안전하고 책임감 있게 활용하되, 타인에게 피해를 주지 않는 선에서 사용하는 것"입니다. 이를 통해 저작권 침해와 같은 문제를 방지하고, AI 사용이 가져올 부작용을 최소화하려는 것입니다. 결국, 이러한 가이드는 AI 기술의 책임 있는 발전을 돕기 위해 필요한 최소한의 장치라고 볼 수 있습니다. AI는 여전히 창의적인 도구로 무한한 가능성을 가지고 있지만, 이를 사용하는 사람들에게도 윤리적 책임과 주의가 필요하다는 점은 분명합니다. (*원문 : Apple podcast On with Kara Swisher) 최근 AI를 활용해 유명인의 얼굴과 목소리를 재현하는 사례가 늘어나면서, 로버트 다우니 주니어가 팟캐스트에 나와 AI 복제에 대한 강력한 의견을 밝혀 화제가 된 바 있습니다. 그는 AI 기술의 발전을 흥미롭게 보면서, 자신의 외모와 목소리를 AI로 디지털 복제하려는 시도에 강력히 반대하며, 동의 없이 이를 사용하는 경우 법적 조치도 불사하겠다고 강하게 밝혔습니다. 그는 AI와 딥페이크 기술이 초상권과 프라이버시에 미칠 영향을 우려하며, 통제되지 않은 AI 사용이 심각한 문제를 초래할 수 있다고 경고했습니다. 마블 스튜디오에서도 과거 아이언맨의 젊은 시절을 재현할 때 CGI, AI 기반 기술을 활용하는 것을 보면서 신기해하지만 한편 자신의 모습이 무단으로 복제될 미래를 봐서였을까요? 다우니 주니어가 말한 부분은 앞으로의 AI와 엔터테인먼트 산업의 미래에 대한 중요한 논의로 여겨지며 엔터테인먼트 산업에서는 AI를 어떻게 활용할 것인가가 중요한 포인트로 보여집니다.

(*모든 글에 수정사항이 필요하면 언제든지 연락주시기 바랍니다.) [Artificial Intelligence Act (AI Act): EU AI 규제법] AI는 전 세계적으로 뜨거운 이슈로 떠오르며, 그 발전 속도도 눈부십니다. 하지만 이런 발전 속에서 "AI 기술이 규제를 받게 되면 지금처럼 자유롭게 사용할 수 없을지도 모른다"라는 우려도 커지고 있습니다. 이는 AI가 가진 저작권 문제뿐만 아니라, 윤리적 사용, 안전성, 그리고 개인 정보 보호와 같은 이슈에서 비롯된 말입니다. 특히, AI가 만들어내는 콘텐츠와 활용 방식에 대한 허용 범위와 가이드라인이 마련되면, 지금까지 당연하게 사용했던 것들이 제한되거나 새로운 기준에 따라 조정될 가능성이 있습니다. 2024년 12월 9일, 유럽연합(EU)은 '인공지능법(AI Act)'에 대해 합의에 도달했습니다. 이 법안의 핵심 목표는 안전성, 투명성, 윤리성, 그리고 혁신 촉진이며, AI 기술의 책임 있는 개발과 활용을 보장하기 위한 규정을 담고 있습니다. 주요 내용은 다음과 같습니다. AI 위험 수준 분류 : AI를 금지 수준(AI Banned), 고위험 수준(AI High-Risk), 제한적 위험(AI Limited-Risk), 위험 없음(AI Minimal/No-Risk)의 4단계로 분류합니다. 위험 수준 분류 : 금지 수준(AI Banned), 고 위험 수준(AI High-Risk), 제한적 위험(AI Limited-Risk), 위험의 소지가 없음(AI Minimal/No-Risk)으로 가이드를 나누어 금지 수준으로 분류된 고 위험 수준의 AI는 전면 금지시키며, 고 위험 수준은 엄격한 요구사항을 준수해야 하는 가이드가 생성되었습니다. 범용적 AI 모델 규제 : 챗GPT 같은 범용 AI 모델은 출시 전에 투명성 의무를 준수하고, 편향적 내용을 금지하며 안전성을 보장해야 합니다. 오픈소스 AI 모델의 경우 규제의 일부 면제가 가능하지만, 이는 제한적으로 적용된다고 합니다. -생체 인식 기술 사용 제한 : 실시간 생체 인식 기술은 공공장소에서 금지되며, 범죄 수사와 같은 매우 제한적인 상황에서만 허용됩니다. 개인의 프라이버시 안정성과 기본권 보호를 위한 조치입니다. EU의 인공지능법은 AI 기술의 책임 있는 개발과 활용을 유도하며, 글로벌 AI 규제의 기준점이 될 것으로 기대됩니다. 특히, AI 시스템의 위험 수준에 따라 단계별 규제를 도입한 점은 기술 혁신과 안전성 간의 균형을 유지하는 데 중요한 역할을 할 것으로 보여집니다. 개인적 의견(참고만 해주세요) 포괄적인 법령이라는 것은 아직 구체적인 법안과 가이드가 세세하게 나온 것은 아니라는 얘기입니다. 하지만 EU가 AI Act를 발표했다는 것은 앞으로 글로벌적으로 AI 관련된 법안과 가이드가 점점 더 규제에 대한 구체화가 되지 않을까 하는 전망이며, 한국도 AI Act를 보면서 금지의 수준을 단계별로 규정하며 디테일이 나올 거 같습니다. AI 스터디 올리는 주소 : https://www.linkedin.com/in/hyunleeofficial/ EU AI ACT 원문 주소