본 논문은 대규모 언어 모델(LLM)을 활용한 순차적 의사 결정 문제 해결을 위한 새로운 프레임워크인 SkillGen을 제안한다. SkillGen은 ICL(in-context learning)의 효과가 프롬프트 품질에 크게 의존한다는 점에 착안하여, 의사 결정에 중요한 정보에 집중하고, 단계별 세분성을 제공하며, 전문가 주석 의존도를 최소화하는 세 가지 원칙을 충족하는 프롬프트를 생성하는 것을 목표로 한다. SkillGen은 샘플 궤적에서 액션 중심의 도메인 레벨 그래프를 구성하고, 시간 차이 신용 할당을 통해 높은 유틸리티 액션을 식별하며, 단계별 기술을 검색하여 세분화된 상황 인지적 프롬프트를 생성한다. 이론적 분석을 통해 높은 유틸리티 세그먼트에 집중하는 것이 작업 식별성을 지원하고 보다 효과적인 ICL 프롬프트 설계를 가능하게 함을 보였다. ALFWorld, BabyAI, ScienceWorld를 포함한 다양한 환경에서 공개 및 독점 LLM을 사용하여 실험한 결과, SkillGen은 평균 5.9%에서 16.5%의 진행률 향상을 달성하며 일관된 성능 향상을 보였다.