Sign In
해봄의 아카이브

Large Language Models의 유추 능력에 대한 탐구: Copycat 문제를 중심으로

Haebom
Dalle3 - 유추문제를 푸는 인공지능
인공지능과 머신러닝의 발전은 눈부신 속도로 진행되고 있으며, 이 중 대규모 언어 모델(Large Language Models, LLM)은 특히 주목받고 있습니다. 이번 포스팅에서는 LLM의 유추 능력에 초점을 맞추어, 특히 'Copycat'이라는 문제를 해결하는 능력에 대해 살펴보겠습니다. 'Copycat'은 1980년대에 Douglas Hofstadter에 의해 고안된 간단한 문제로, 인간의 유추 추론 능력의 핵심적인 측면을 포착하고자 했습니다.

Copycat 문제의 이해

Copycat 문제는 다음과 같은 형태를 가지고 있습니다: "만약 문자열 'abc'가 'abd'로 바뀐다면, 문자열 'pqr'은 어떻게 바뀌나요?" 이러한 문제는 인간의 추론 능력을 시험하는 동시에, 기계가 어떻게 이러한 유추 문제를 해결할 수 있는지에 대한 통찰을 제공합니다.

LLM과 Copycat

LLM은 이러한 유추 문제를 어느 정도 해결할 수 있는 능력을 가지고 있습니다. 특히 GPT-3는 Melanie Mitchell의 연구에 따르면 'Copycat' 문제를 상당히 잘 해결할 수 있음이 밝혀졌습니다. 하지만, 이번 포스팅에서는 Llama-7B-chat이라는 모델을 사용하여 Copycat 문제를 해결하는 과정을 살펴보겠습니다. Llama-7B-chat은 GPT-3.5보다는 성능이 떨어지지만, 실험하기에는 충분히 작고 편리한 모델입니다.

Llama-7B-chat을 이용한 실험

Llama-7B-chat 모델을 사용하여 다양한 Copycat 문제를 해결해보았습니다. 예를 들어, 다음과 같은 문제를 제시하였습니다:
"0 1 2 to 2 1 0, 1 2 3 to 3 2 1, 4 5 6 to "의 답은 "6 5 4"입니다.
"0 1 2 to 0 1 3, 1 2 3 to 1 2 4, 4 5 6 to "의 답은 "4 5 7"입니다.
"0 1 to 0 1 1, 1 2 to 1 2 2, 4 5 to "의 답은 "4 5 5"입니다.
이러한 문제들을 통해 Llama-7B-chat 모델이 어떻게 유추 문제를 해결하는지에 대한 이해를 높일 수 있었습니다.

유추 능력의 메커니즘 분석

Llama-7B-chat 모델의 내부 메커니즘을 분석하기 위해 'logit lens'와 'zero ablation' 기법을 사용하였습니다. 이를 통해 모델이 어떻게 특정 답을 도출하는지, 어떤 부분이 중요한 역할을 하는지에 대한 통찰을 얻을 수 있었습니다.
이번 포스팅에서는 LLM의 유추 능력에 대해 살펴보고, 특히 Llama-7B-chat 모델을 사용하여 Copycat 문제를 해결하는 과정을 분석하였습니다. 이러한 분석을 통해 LLM의 작동 방식과 유추 능력에 대한 이해를 높일 수 있었습니다. 향후에는 더 다양한 모델과 문제를 사용하여 LLM의 유추 능력을 더 깊이 있게 탐구할 예정입니다. 개인적으로 70B에서도 해보고 싶은데 ... 70b Grant를 못받고 있네요. ㅠㅜ
Hofstadter - Analogy as the Core of Cognition.pdf344.21KB
Subscribe to 'haebom'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'haebom'!
Subscribe