📖AI 키워드/용어

지식 증류 Knowledge Distillation

yuli

Date

Jan 18, 2025

AI 기술의 증류 기술

AI 기술의 지식 증류(knowledge distillation)는 모델의 경량화와 성능 향상을 목표로 하며, 특히 대규모 데이터셋을 다루는 데 유용하다.

•

증류는 복잡한 AI 모델을 더 작고 효율적인 모델로 변환하는 기술이다.

•

증류 기술은 큰 모델의 성능을 유지하면서도 더 적은 자원을 사용한다. 즉, 경량화와 성능 향상을 목표로 한다.

•

증류는 일반적으로 더 큰 '교사' 모델의 지식을 더 작은 '학생' 모델로 전이하는 과정이다.

증류의 기본 원리

증류는 일반적으로 두 가지 모델을 사용한다.

•

교사 모델(Teacher Model): 대량의 데이터로 학습된 복잡한 모델

•

학생 모델(Student Model): 상대적으로 간단하고 경량화된 모델

•

교사 모델은 학생 모델이 학습할 수 있도록 필요한 정보를 제공하고, 학생 모델은 교사 모델의 예측 결과를 바탕으로 학습한다.

출처:https://labelbox.com/blog/a-pragmatic-introduction-to-model-distillation-for-ai-developers/

증류의 과정

1. 교사 모델 학습 먼저, 대규모 데이터셋을 사용하여 교사 모델을 학습한다. 이 모델은 정확도가 높고 구조가 복잡하다.

먼저, 대규모 데이터셋을 사용하여 교사 모델을 학습한다. 이 모델은 정확도가 높고 구조가 복잡하다.

2. 예측 결과 생성

학습된 교사 모델을 사용하여 새로운 데이터에 대한 예측 결과를 생성한다. 이는 학생 모델이 학습하는 데 필요한 '지식'이 된다. 이 예측은 단순한 결과뿐만 아니라, 각 선택지에 대한 확률 같은 추가적인 정보도 포함한다. 예를 들어, 고양이 사진을 보고 "고양이일 확률 90%, 개일 확률 5%, 토끼일 확률 5%" 같은 식이다.

3. 학생 모델 학습

학생 모델은 교사 모델의 예측 결과를 기반으로 학습한다. 이 과정에서 학생 모델은 교사 모델의 지식을 압축하여 파라미터에 반영한다.

4. 성능 평가

학습이 완료된 후, 학생 모델의 성능을 평가하여 교사 모델과 비교한다. 일반적으로 학생 모델은 경량화되었음에도 불구하고 상당한 성능을 유지한다.

증류 기술의 원리

1. 지식 전이(Knowledge Transfer)

증류의 핵심은 큰 모델이 가지고 있는 지식을 작은 모델로 '전이'하는 것이다. 큰 모델은 많은 데이터를 기반으로 학습되어 복잡한 패턴을 잘 이해하고 있다. 이 지식을 작은 모델로 옮겨서, 작은 모델도 비슷한 성능을 발휘할 수 있도록 하는 것이 목표이다.

2. 교사-학생 모델(Teacher-Student Model)

큰 모델인 '교사 모델'과, 이 모델로부터 배우는 '학생 모델'이 필요하다. 교사 모델은 이미 깊이 있는 학습을 끝냈고, 학생 모델은 그 교사의 예측을 보고 학습합니다. 즉, 교사 모델은 지도하고, 학생 모델은 그 지도를 따라가면서 배웁니다.

3. 온도 매개변수(Temperature Parameter)

교사 모델의 출력에서 '소프트 타겟'을 생성하는 데 사용된다. 소프트 타겟은 교사 모델이 내놓는 예측의 확률 분포를 말한다. 예를 들어, 교사가 고양이 사진을 보고 "고양이일 확률 90%, 개일 확률 5%, 토끼일 확률 5%"라고 할 때, 이 확률 정보를 부드럽게 만들어서 학생 모델이 더 쉽게 학습하도록 돕는다.

4. 로스 함수(Loss Function)

학생 모델은 교사 모델의 예측 결과에 최대한 가깝게 도달하기 위해 '로스 함수'를 사용한다. 이를 통해 학생 모델의 예측이 교사 모델의 예측과 얼마나 다른지 측정하고, 그 차이를 줄이도록 학습한다.

증류의 장점

•

자원 절약: 작고 효율적인 모델을 사용함으로써 계산 자원과 전력을 절약할 수 있다.

•

빠른 응답: 경량화된 모델은 반응 속도가 빠르기 때문에, 실시간 처리나 빠른 의사결정이 필요한 상황에서 유리하다.

•