Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15

Created by
  • Haebom

作者

Mohammad Abdul Rehman, Syed Imad Ali Shah, Abbas Anwar, Noor Islam

概要

この研究は、大規模言語モデル（LLM）が微調整なしで侵入検知に利用できるかどうかを評価するために、ネットワークフローをテキストに変換し、軽量のドメイン関連ブールフラグを追加したプロンプト専用アプローチをUNSW-NB15データセットに適用しました。モデルの出力偏差を減らし、測定をサポートするために構造化応答を制限し、単一の決定しきい値を補正しました。 Zero-shot、instruction-guided、few-shot プロンプト方式を強力なテーブル形式およびニューラルネットワークベースのベースラインと比較して、精度、精度、再現率、F1 スコアおよびマクロスコアを報告しました。実験の結果、案内されていないプロンプトは信頼できませんでしたが、指示とフラグを使用した場合、検出品質は大幅に向上しました。 7BモデルはマクロF1 0.78に、3BモデルはF1 0.68に達した。

Takeaways、Limitations

•
Takeaways:
◦
LLMを利用した侵入検知では、微調整なしでプロンプトだけでも有意な性能が得られることを実証しました。
◦
ガイドラインとドメイン関連フラグの追加は、検出性能の向上に貢献しました。
◦
モデルの結果解析の可能性を高め、容易な適応性を提供します。
◦
再現可能な研究のためのプロンプト、文法、指標、絵などを提供します。
•
Limitations：
◦
評価セットが大きくなるにつれて（2000を超えるフロー）、検出品質が低下し、カバレッジとプロンプトに対する感度が向上しました。
◦
テーブル形式のベースラインに比べて安定性と速度が低下します。
👍
Made with Slashpage