Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following

Created by
  • Haebom

作者

Yinghao Ma, Siyou Li, Juntao Yu, Emmanouil Benetos, Akira Maezawa

概要

この論文では、音楽情報検索(MIR)分野のさまざまな課題をカバーする包括的な音楽指示に従うベンチマークであるCMI-Benchを提案します。既存のベンチマークの限界を克服するために、既存の様々なMIR注釈を指示に従って形式に再解釈し、ジャンル分類、感情回帰、感情タグ付け、楽器分類、ピッチ推定、組成検出、歌詞転写、メロディ抽出、ボーカル技法認識、楽器演奏技法検出、音楽タグ付け、音楽キャプションCMI-Benchは、既存の最先端のMIRモデルとの直接比較を保証するために標準化された評価指標を採用し、LTU、Qwen-audio、SALMONN、MusiLingoなど、複数のオープンソースオーディオテキストLLMをサポートする評価ツールキットを提供します。実験結果は、LLMと地図学習モデルの間のパフォーマンスの違いと文化的、時代的、性別の偏りを示し、現在のモデルの可能性と限界を強調しています。

Takeaways、Limitations

Takeaways:
さまざまなMIR作業をカバーする新しいベンチマークCMI-Benchの提示
従来のMIRモデルとの直接性能比較が可能
オープンソースのオーディオテキストLLMの評価ツールキットを提供
音楽指示に従うパフォーマンス評価のための統合された基盤を築く
LLMの性能と偏向性に関する洞察を提供
Limitations:
LLMと地図学習モデルの間のパフォーマンスの違いが大きく現れる
文化的、時代的、性別偏向が存在する
👍