대규모 언어 모델(LLM)의 문맥 내 학습(ICL) 능력을 활용하여 표 형식 데이터를 다루는 예측 작업에 대한 연구를 진행했다. 특히, 자원 효율적인 작업 적응을 위해 잠재 개념 변수를 사용하는 최적의 데모 선택 접근 방식에 초점을 맞췄다. 예측 결과와 민감 변수 간의 상관관계를 줄이는 데이터 증강 전략을 설계하여 잠재 개념 학습 과정에서 공정성을 높였다. 학습된 개념을 활용하여 데모를 선택하고 공정한 예측을 얻었다. 잠재 개념 변수는 작은 내부 LLM을 사용하여 학습되고 더 큰 외부 LLM으로 일반화된다. 공정한 잠재 변수 접근 방식이 여러 휴리스틱 데모 선택 방법보다 표 형식 데이터 세트에서 공정성 결과를 향상시킨다는 것을 경험적으로 확인했다.
시사점, 한계점
•
시사점:
◦
표 형식 데이터에 대한 LLM의 ICL에서 내재된 편향을 조사하고 공정성 문제를 해결하기 위한 새로운 접근 방식을 제시했다.
◦
잠재 개념 변수를 활용한 데모 선택 방식을 통해 자원 효율적인 작업 적응을 가능하게 했다.
