Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The PLLuM Instruction Corpus

Created by
  • Haebom
Category
Empty

저자

Piotr P\k{e}zik, Filip Zarnecki, Konrad Kaczynski, Anna Cichosz, Zuzanna Deckert, Monika Garnys, Izabela Grabarczyk, Wojciech Janowski, Sylwia Karasinska, Aleksandra Kujawiak, Piotr Misztela, Maria Szymanska, Karolina Walkusz, Igor Siek, Maciej Chrab\k{a}szcz, Anna Ko{\l}os, Agnieszka Karlinska, Karolina Seweryn, Aleksandra Krasnod\k{e}bska, Paula Betscher, Zofia Cieslinska, Katarzyna Kowol, Artur Wilczek, Maciej Trzcinski, Katarzyna Dziewulska, Roman Roszko, Tomasz Bernas, Jurgita Vai\v{c}enoniene, Danuta Roszko, Pawe{\l} Levchuk, Pawe{\l} Kowalski, Irena Prawdzic-Jankowska, Marek Koz{\l}owski, S{\l}awomir Dadas, Rafa{\l} Poswiata, Alina Wroblewska, Katarzyna Krasnowska-Kieras, Maciej Ogrodniczuk, Micha{\l} Rudolf, Piotr Rybak, Karolina Saputa, Joanna Wo{\l}oszyn, Marcin Oleksy, Bart{\l}omiej Koptyra, Teddy Ferdinan, Stanis{\l}aw Wozniak, Maciej Piasecki, Pawe{\l} Walkowiak, Konrad Wojtasik, Arkadiusz Janz, Przemys{\l}aw Kazienko, Julia Moska, Jan Kocon

개요

본 논문은 PLLuM (Polish Large Language Model) 프로젝트에서 개발된 변환기 기반 대규모 언어 모델 (LLM)을 미세 조정하는 데 사용된 지침 데이터세트를 설명합니다. 본 논문은 PLLuM에 사용된 유기적, 변환된 및 합성 지침의 기능적 유형론을 제시하고, 기본 LLM의 언어적 적응에서 사람이 작성한 지침 데이터세트와 합성 지침 데이터세트를 사용하는 것의 의미에 대한 몇 가지 관찰 결과를 공유합니다. 또한, 다른 LLM에 대한 유사한 데이터세트 개발을 안내하고 계획하는 데 유용하다고 여겨지는 PLLuM 지침 말뭉치 (PLLuMIC)의 첫 번째 대표적인 부분 집합을 공개합니다.

시사점, 한계점

PLLuM 프로젝트에서 사용된 지침 데이터세트의 세부 정보를 제공하여 다른 LLM 개발에 대한 지침을 제공합니다.
사람이 작성한 지침과 합성 지침의 사용에 대한 비교를 통해 언어적 적응의 측면을 분석합니다.
PLLuMIC의 공개는 다른 연구자들이 사용할 수 있는 데이터세트를 제공합니다.
논문은 LLM 개발에 중점을 둔 특정 프로젝트 (PLLuM)에 국한되어 있으며, 일반적인 LLM 개발에 대한 광범위한 결론을 제시하지는 않습니다.
PLLuMIC의 대표성 및 적용 가능성에 대한 추가적인 평가가 필요할 수 있습니다.
👍