# Understanding and Mitigating Risks of Generative AI in Financial Services

### 저자

Sebastian Gehrmann, Claire Huang, Xian Teng, Sergei Yurovski, Iyanuoluwa Shode, Chirag S. Patel, Arjun Bhorkar, Naveen Thomas, John Doucette, David Rosenberg, Mark Dredze, David Rabinowitz

### 개요

본 논문은 책임감 있는 생성형 AI (GenAI) 제품 개발을 위해 허용 가능한 입력과 출력의 범위를 정의하는 것이 중요함을 강조한다. 특히 광범위한 사용자층이 사용하는 대화형 애플리케이션에서 독성, 편향, 공정성과 같은 일반적인 측면에 대한 모델 자체 평가에 초점을 맞춘 기존 학술 연구와 달리, 본 논문은 특정 도메인의 사회기술 시스템을 고려하는 데 중점을 둔다.  금융 서비스 도메인 특유의 AI 콘텐츠 안전성 고려 사항을 강조하고, 관련 AI 콘텐츠 위험 분류 체계를 제시한다.  기존 연구와의 비교 분석과 위험 범주 위반이 다양한 이해 관계자에게 미치는 영향을 논의하며, 레드팀 활동을 통해 수집한 데이터를 기반으로 기존 오픈소스 기술적 안전장치 솔루션이 이 분류 체계를 얼마나 충족하는지 평가한다.  결과적으로 기존 안전장치들이 논의된 콘텐츠 위험의 대부분을 감지하지 못함을 보여준다.

### 시사점, 한계점

- **시사점:** 금융 서비스 분야의 특수한 AI 콘텐츠 안전성 문제에 대한 체계적인 위험 분류 체계를 제시하여,  AI 모델 개발 및 배포 시 발생 가능한 위험을 효과적으로 관리하고 예방하는 데 기여한다.  기존 오픈소스 솔루션의 한계를 밝힘으로써 향후 더욱 강력하고 효과적인 안전장치 개발의 필요성을 시사한다.

- **한계점:**  본 논문에서 제시된 위험 분류 체계 및 레드팀 활동 데이터의 일반화 가능성에 대한 추가 연구가 필요하다.  특정 금융 서비스 도메인에 국한된 연구이므로, 다른 도메인으로의 일반화에는 주의가 필요하다.  평가 대상으로 사용된 오픈소스 솔루션의 종류와 범위에 대한 명확한 제시가 필요하다.

[PDF 보기](https://arxiv.org/pdf/2504.20086)

![https://i.imgur.com/VgaL2cK.jpeg](https://i.imgur.com/VgaL2cK.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).