테크 소식
AI 모델의 내부 구조 해석: Anthropic의 획기적 발견
Last modified
Anthropic은 대규모 언어 모델 Claude Sonnet의 내부 작동 원리를 해석하는 데 중요한 진전을 이뤘습니다. 이는 실제 사용되는 현대적 대규모 언어 모델의 내부를 처음으로 자세히 들여다본 사례입니다.
연구 방법 및 주요 발견
Anthropic 연구팀은 'Dictionary learning' 기술을 사용하여 모델 내부의 수백만 개의 '특징(features)'을 추출했습니다. 이 특징들은 모델이 다양한 개념을 어떻게 표현하는지 보여줍니다.
1.
광범위한 개념 표현: 추출된 특징들은 도시, 인물, 과학 분야, 프로그래밍 구문 등 다양한 개념을 나타냅니다. 예를 들어, 샌프란시스코, 로잘린드 프랭클린, 면역학, 함수 호출 등에 대한 특징들이 발견되었습니다.
2.
다국어 및 다중 모달 지원: 이 특징들은 여러 언어로 된 텍스트뿐만 아니라 이미지에도 반응합니다. 예를 들어, 골든 게이트 브릿지에 관한 특징은 영어, 일본어, 중국어 등 다양한 언어의 언급과 이미지에 반응했습니다.
3.
추상적 개념 표현: 컴퓨터 코드의 버그, 직업에서의 성 편견, 비밀 유지에 관한 대화 등 더 추상적인 개념에 대한 특징들도 발견되었습니다.
4.
개념 간 관계 파악: 특징들 간의 '거리'를 측정하여 개념적 유사성을 파악할 수 있었습니다. 예를 들어, '내적 갈등' 관련 특징 근처에서 관계 단절, 상충하는 충성심, 논리적 모순 등과 관련된 특징들이 발견되었습니다.
5.
특징 조작 가능성: 연구팀은 이러한 특징들을 인위적으로 조작하여 모델의 응답을 변경할 수 있음을 확인했습니다. 예를 들어, '골든 게이트 브릿지' 특징을 증폭시키자 모델이 자신을 브릿지로 인식하는 등의 변화가 나타났습니다.
연구의 의의
1.
AI 안전성 향상: 이 발견은 AI 모델을 더 안전하게 만드는 데 기여할 수 있습니다. 예를 들어, 위험한 행동을 모니터링하거나, 바람직한 결과로 유도하거나, 특정 위험한 주제를 제거하는 데 활용될 수 있습니다.
2.
편향성 및 문제행동 관련 특징 발견: 연구팀은 성차별, 인종차별적 주장, AI의 권력 추구, 조작, 비밀주의 등과 관련된 특징들도 발견했습니다. 이는 향후 이러한 문제들을 해결하는 데 도움이 될 수 있습니다.
3.
모델 행동 이해 증진: 특징들을 조작함으로써 모델의 행동 변화를 관찰할 수 있었는데, 이는 모델의 내부 표현이 실제 행동에 어떻게 영향을 미치는지 이해하는 데 도움이 됩니다.
향후 과제
1.
더 많은 특징 발견: 현재 발견된 특징들은 모델이 학습한 모든 개념의 일부에 불과합니다. 더 많은 특징을 발견하고 분석하는 것이 필요합니다.
2.
계산 비용 문제 해결: 현재의 기술로는 모든 특징을 찾는 데 필요한 계산 비용이 모델 훈련 비용을 크게 초과합니다. 이를 해결하기 위한 효율적인 방법이 필요합니다.
3.
특징 사용 방식 이해: 특징들의 존재를 확인했지만, 모델이 이를 어떻게 사용하는지 완전히 이해하려면 더 많은 연구가 필요합니다.
4.
안전성 향상에 적용: 발견된 안전 관련 특징들을 실제로 AI 안전성 향상에 활용하는 방법을 개발해야 합니다.
Anthropic은 이번 연구가 AI 모델을 더 깊이 이해하고 안전성을 향상시키는 중요한 이정표가 될 것으로 기대하고 있습니다. 회사는 앞으로도 해석 가능성 연구에 계속 투자하여 AI 기술의 발전과 안전성 확보에 기여할 계획입니다.
Subscribe to '오늘배움'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to '오늘배움'!
Join Slashpage and subscribe to '오늘배움'!
