합성 데이터 생성으로 데이터 부족 문제 극복하기

Fri, 01 Dec 2023 12:46:50 GMT

![Image](https://upload.cafenono.com/image/slashpageHome/20231204/231421_gFWV9lPuf8EK4llrif?q=75&s=1280x180&t=outside&f=webp)

합성 데이터 생성은 실제 데이터가 부족할 때, 인공 지능이 스스로 가상의 데이터를 만들어내는 기술입니다. 실제로 존재하는 데이터를 바탕으로, AI는 새로운 데이터를 '합성'하여 만들어내고, 이 데이터를 이용해 더 많은 것을 학습할 수 있습니다.

예를 들어, A국가의 법률 문서를 이해해야 하는 챗봇을 만들 때, 실제 A국가의 법률 문서가 충분하지 않다면, 합성 데이터 생성을 통해 기존의 국가들의 법률 문서에서 파생된 새로운 법률 문서를 만들어낼 수 있습니다. 이러한 문서는 실제로 존재하지 않지만, 챗봇이 법률 문서를 이해하는 데 필요한 학습을 진행하는 데 사용될 수 있습니다.

이와 같은 합성 데이터는 AI 모델을 훈련하는 데 있어서, 시간과 비용을 절약하고, 다양한 상황에 대비할 수 있게 도와줍니다. 또한, 특정 도메인이나 언어에 맞춰 데이터를 조정할 수 있는 유연성을 제공합니다.

RAG(Retrieval-Augmented Generation)는 정보를 검색하고 이를 바탕으로 답변을 생성하는 모델입니다. RAG를 위한 합성 데이터 생성은, RAG가 검색할 수 있는 데이터베이스를 구축하는 데 사용될 수 있습니다. 합성 데이터를 통해, RAG 모델은 다양한 질문에 대한 답변을 생성하는 방법을 학습하고, 실제 사용자의 질문에 대해 더 정확하고 유용한 정보를 제공할 수 있게 됩니다.

하지만, 합성 데이터의 질을 확보하는 것은 중요한 과제입니다. 데이터가 실제 상황을 잘 반영하지 못하면, 모델이 잘못된 정보를 학습할 수 있기 때문입니다. 따라서, 합성 데이터 생성시에는 데이터의 다양성과 품질을 보장하고, 주기적으로 평가하여 모델이 실제 상황에 적합한 답변을 할 수 있도록 해야 합니다. 이 과정에서, 데이터가 실제 업무와 관련된 다양한 시나리오를 포괄하고 있는지 확인하고, 모델의 성능을 기반으로 개선을 지속해나가는 것이 중요합니다.

### 실제 사용사례?

- Dai et al. (2022)의 연구: 이 연구에서는 단 8개의 수동으로 라벨링된 예시와 대량의 라벨되지 않은 데이터(예: 모든 파싱된 법률 문서)를 사용하여 거의 최고 수준의 성능을 달성하는 방법을 제안했습니다​​.

[Promptagator: Few-shot Dense Retrieval From 8 Examples](https://arxiv.org/abs/2209.11755)

[In machine learning, synthetic data can offer real performance improvements](https://news.mit.edu/2022/synthetic-data-ai-improvements-1103#:~:text=Machine,that%20often%20impact%20real%20datasets)

- 기계 학습 모델에서의 합성 데이터 사용: 합성 데이터로 훈련된 기계 학습 모델은 특정 상황에서 실제 데이터로 훈련된 모델을 능가할 수 있습니다. 이는 과학자들이 합성 데이터를 훈련에 사용하는 것이 더 나을 수 있는 상황을 식별하는 데 도움이 될 수 있으며, 이는 실제 데이터셋에 영향을 미치는 편견, 프라이버시, 보안 및 저작권 문제를 제거할 수 있습니다​​.

- MOSTLY AI 회사의 합성 데이터 개발: MOSTLY AI는 AI 모델 개발과 소프트웨어 테스트를 위한 합성 데이터 생성을 선도하고 있습니다. 이는 AI와 합성 데이터 분야에서의 빠른 발전을 나타냅니다​​. ([링크](https://pubsonline.informs.org/do/10.1287/LYTX.2022.02.06/full/)) 이는 어디까지나 주장일 뿐이라 실제로는 작동을 하는지 의문 입니다. 홍보자료 느낌이 납니다만 하고 있다고 주장 하고 있습니다.

- 금융이나 의료 산업과 같은 특정 산업에서 실제 데이터를 얻는 데 법적이나 윤리적 장벽이 있을 수 있습니다​​. 이에 기존의 동의를 받은 데이터를 바탕으로 필요한 학습데이터를 생성해 내는 것에 대한 니즈가 강력한 분야입니다.

결론적으로, 합성 데이터 생성은 데이터가 부족한 상황에서 AI 모델을 빠르게 개발하고 테스트하는 데 큰 도움이 되며, 특히 RAG와 같은 모델에서는 검색된 정보를 바탕으로 더 나은 답변을 생성하는 데 필수적입니다. GPTs나 Bing 또는 Google의 Bard나 Notion Q&A와 같은 친구들이 대표적인 예 입니다. 이들은 사용자가 업로드한 혹은 작성한 문서, 파일을 기반으로 더 나은 답변을 생성하고 있습니다.

[https://slashpage.com/haebom/k4w67rj244ggr25yq8ep](https://slashpage.com/haebom/k4w67rj244ggr25yq8ep)

[https://slashpage.com/haebom/gd367nxm3388kmj98pv1](https://slashpage.com/haebom/gd367nxm3388kmj98pv1)

![Image](https://upload.cafenono.com/image/slashpageHome/20231202/232552_y4KV1o5w3LD4czuKMg?q=75&s=1280x180&t=outside&f=webp)

ⓒ 2023. Haebom, all rights reserved.

`출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.`