Bike-Bench는 다중 실세계 목표 및 제약 조건이 있는 문제에 대한 생성 모델을 평가하기 위한 엔지니어링 설계 벤치마크입니다. 생성 AI의 영향력이 커짐에 따라 물리 법칙, 인간 지침 및 하드 제약 조건을 이해하는 능력을 평가하는 것이 점점 중요해지고 있습니다. 엔지니어링 제품 설계는 이러한 어려운 작업의 교차점에 있으며 AI 기능에 대한 새로운 과제를 제공합니다. Bike-Bench는 AI 모델이 데이터셋과 유사할 뿐만 아니라 특정 성능 목표와 제약 조건을 충족하는 설계를 생성하는 기능을 평가합니다. 이를 위해 공기역학, 인체 공학, 구조 역학, 인간 평가 가능성 및 주관적인 텍스트 또는 이미지 프롬프트와의 유사성과 같은 다양한 인간 중심 및 다중 물리 성능 특성을 정량화합니다. 벤치마크를 지원하기 위해 여러 시뮬레이션 결과 데이터셋, 1만 개의 인간 평가 자전거 평가 데이터셋 및 매개변수, CAD/XML, SVG 및 PNG 표현이 각각 있는 140만 개의 설계로 구성된 합성 생성 데이터셋이 있습니다. Bike-Bench는 표 형식 생성 모델, LLM, 설계 최적화 및 하이브리드 알고리즘을 동시에 평가하도록 고유하게 구성되어 있습니다. 실험 결과 LLM 및 표 형식 생성 모델은 유효성 및 최적성 점수 모두에서 최적화 및 최적화 증강 생성 모델보다 성능이 떨어지는 것으로 나타나 개선의 여지가 큼을 시사합니다. Bike-Bench는 제약 조건이 있는 다중 목표 엔지니어링 설계 문제에 대한 생성 AI의 발전을 촉진하는 데 도움이 될 것으로 기대됩니다. 코드, 데이터 및 기타 리소스는 decode.mit.edu/projects/bikebench/에서 공개됩니다.
