Author: S. Keshav Conference / Journal: N/A PDF: https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf tl;dr No need to write for this article Introduction 논문을 어떻게 읽어햐 하는지 배우는 경우는 드물기에 많은 학생들이 어려움을 겪는다. 따라서 이번 article이 도움이 되었으면 좋겠다. Method 논문을 읽을 때는 3단계로 읽게 된다. First pass Title, Abstract, Intro 를 읽기 Section, subsection 이름 읽기 Conclusion읽기 Reference 훑어보고 읽어본게 있나 확인 → 이를 통해 5가지 기준에 대해 평가 Category: 이 논문은 어떤 타입인가? 측정에 관한 건가? 기존 시스템 분석에 관한건가? 연구 프로토타입인가? Context: 이 연구와 관련된 다른 연구는 뭘까? 어떤 이론적 배경이 문제 해결에 쓰였나? Correctness: 논문의 가정이 유효한가?

이 논문은 최근에 참석한 WoRV 팀의 채용설명회를 갔다가 관심이 생겨 한번 읽어보게 되었습니다.

백수 or 취뽀하면 잔잔하게 쭉 읽으며 정리해 볼 예정입니다...

Author: Zehao Wang1, Minye Wu1, Yixin Cao4, Yubo Ma3, Meiqi Chen2, Tinne Tuytelaars1 Conference / Journal: EMNLP 2024 Findings PDF: https://arxiv.org/pdf/2409.17313 Code: https://github.com/zehao-wang/navnuances tl;dr VLN 모델의 다양한 지시 유형을 세밀하게 평가할 수 있는 프레임워크를 제시함. 이를 통해 수치 이해, 특정 방향 인식에서 모델의 성능 부족이 드러남. 발견된 문제점을 바탕으로 VLN 모델의 성능 향상을 위한 구체적 방향성을 제공함. Motivation 기존 VLN 모델의 한계: VLN 모델이 복잡한 내비게이션 지시를 제대로 이해하고 실행하는 능력이 과대평가되었을 가능성이 있다. 세밀한 평가 필요성: VLN Task를 더 작은 단위로 쪼개어 다양한 지시 유형에 대해 세밀한 성능 평가가 필요함. → LLM 기반 평가 프레임워크 필요성: LLM기반으로 VLN Instruction을 구성하고 세밀한 평가가 가능한 새로운 프레임워크를 제안하고자 함. Method Context-Free Grammar(CFG) VLN Instruction의 구조를 체계적으로 정의하기 위해 CFG를 사용하여 다양한 지시 유형을 표현. (LLM을 통해 구축) N: 비종결기호 (방향, 객체, 행동) T: 종결기호 (방향지시어, object 이름) P: 생성 규칙 (N들이 어떻게 T나 다른 N으로 변환될 수 있는지 규칙) 3~7 N → T N → N S: 시작 기호