[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

An Approach for Auto Generation of Labeling Functions for Software Engineering Chatbots

Created by
  • Haebom

作者

Ebube Alor, Ahmad Abdellatif, SayedHassan Khatoonabadi, Emad Shihab

概要

本論文は、ソフトウェアエンジニアリング(SE)チャットボットの自然言語理解(NLU)プラットフォーム学習のためのデータラベリングプロセスの難しさを解決するための自動ラベリング関数(LF)生成方法を提案します。既存の手動ラベル付け方式の時間とリソース消費の問題を解決するために、既存のラベル付きユーザークエリからパターンを抽出してLFを自動的に生成するアプローチを提示します。 4つのSEデータセットを使用した実験の結果、生成されたLFは最大85.3%のAUCスコアと最大27.2%のNLU性能向上を達成しました。また、生成されたLFの数がラベリング性能に影響を与えることを確認しました。この研究は、SEチャットボットの開発中に効率的なデータラベリングを可能にし、開発者がコア機能の開発に集中できるように支援します。

Takeaways、Limitations

Takeaways:
ソフトウェアエンジニアリングチャットボットの開発中のデータラベリングのコストと時間を節約するための効率的な方法を提示します。
自動LF生成によるNLU性能の向上の可能性を提示
生成されたLFの数がラベリング性能に与える影響の分析を提供します。
Limitations:
使用されるデータセットの種類と規模によっては、パフォーマンスの違いが発生する可能性があります。
生成されたLFの品質は実際のラベリング性能に直接影響を与えるため、LF生成アルゴリズムの精度と一般化性能の向上が必要です。
様々なタイプのSE問合せに対する一般化性能検証の必要性
AUCスコアとNLU性能向上の実質的な効果の追加分析の必要性
👍