Fine-tuning DeepSeek-OCR-2 for Molecular Structure Recognition

Wed, 22 Apr 2026 08:35:20 GMT

### 저자

Haocheng Tang, Xingyu Dang, Junmei Wang

### 💡 개요

본 연구는 2D 분자 구조 그림을 기계가 읽을 수 있는 형식으로 변환하는 광학 화학 구조 인식(OCSR) 문제를 해결하기 위해 DeepSeek-OCR-2 모델을 분자 인식에 맞게 미세 조정하는 방법을 제안합니다. 모델의 학습 불안정성을 극복하기 위해 LoRA 기반 파라미터 효율적 미세 조정과 분할 학습률을 이용한 선택적 전체 파라미터 미세 조정을 포함하는 2단계 점진적 지도 미세 조정 전략을 사용했습니다. 이렇게 개발된 MolSeek-OCR 모델은 기존의 이미지-투-시퀀스 모델과 경쟁력 있는 성능을 보였습니다.

### 🔑 시사점 및 한계

- **시사점 1:** 2단계 점진적 지도 미세 조정 전략은 DeepSeek-OCR-2와 같은 대규모 언어 모델을 OCSR과 같이 새롭고 까다로운 도메인에 효과적으로 적용할 수 있는 방법을 제시합니다.

- **시사점 2:** 합성 데이터와 실제 특허 이미지 데이터를 결합한 대규모 학습 데이터셋 구축은 모델의 포괄성과 강건성을 향상시키는 데 중요한 역할을 합니다.

- **한계점 또는 향후 과제:** 본 연구의 모델은 최첨단 이미지-투-그래프 모델보다는 성능이 떨어지며, 강화 학습 기반 후처리나 데이터 큐레이션 방식은 엄격한 시퀀스 수준의 정확도를 향상시키지 못했습니다. 따라서 이미지-투-그래프 방식의 장점을 흡수하거나, 시퀀스 생성의 정확도를 더욱 높이는 연구가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.03476)