Sign In

StereoTales: A Multilingual Framework for Open-Ended Stereotype Discovery in LLMs

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Pierre Le Jeune, Etienne Duchesne, Weixuan Xiao, Stefano Palminteri, Bazire Houssin, Benoit Malezieux, Matteo Dora

πŸ’‘ κ°œμš”

기쑴의 μ˜μ–΄ 쀑심적인 μ†Œμ…œ 편ν–₯ μ—°κ΅¬μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³ μž, λ³Έ μ—°κ΅¬λŠ” 10개 언어와 79개의 μ‚¬νšŒ 인ꡬ학적 속성을 μ•„μš°λ₯΄λŠ” λ‹€κ΅­μ–΄ 데이터셋 및 평가 νŒŒμ΄ν”„λΌμΈμΈ StereoTalesλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 650만 개 μ΄μƒμ˜ LLM 생성 μŠ€ν† λ¦¬λ₯Ό λΆ„μ„ν•˜μ—¬ 1,500개 μ΄μƒμ˜ κ³ΌλŒ€ λŒ€ν‘œλœ 연관성을 λ°œκ²¬ν•˜κ³ , 인간 및 LLM 평가λ₯Ό 톡해 μœ ν•΄μ„±μ„ μΈ‘μ •ν–ˆμŠ΅λ‹ˆλ‹€. λͺ¨λ“  ν‰κ°€λœ LLM이 규λͺ¨λ‚˜ μ„±λŠ₯에 관계없이 κ°œλ°©ν˜• μƒμ„±μ—μ„œ μœ ν•΄ν•œ 고정관념을 μƒμ„±ν•˜λ©°, μ΄λŠ” μ œκ³΅μ—…μ²΄ 간에 κ³΅μœ λ˜λŠ” κ²½ν–₯이 μžˆμŒμ„ λ°ν˜”μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM은 언어와 문화에 따라 λ‹€λ₯΄κ²Œ 편ν–₯되며, νŠΉμ • μ§€μ—­μ˜ 보호 λŒ€μƒ 집단에 λŒ€ν•œ νŽΈκ²¬μ„ μ¦ν­μ‹œν‚€λŠ” κ²½ν–₯이 μžˆμŠ΅λ‹ˆλ‹€.
β€’
인간과 LLM의 μœ ν•΄μ„± νŒλ‹¨μ€ μ „λ°˜μ μœΌλ‘œ μΌμΉ˜ν•˜μ§€λ§Œ, νŠΉμ • 속성 κ³„μΈ΅μ—μ„œ λΆˆμΌμΉ˜κ°€ λ°œμƒν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” LLM의 κ°œλ°©ν˜• μƒμ„±μ—μ„œ λ‚˜νƒ€λ‚˜λŠ” μ†Œμ…œ νŽΈκ²¬μ„ μ²΄κ³„μ μœΌλ‘œ νƒκ΅¬ν•˜κ³  μΈ‘μ •ν•  수 μžˆλŠ” μ€‘μš”ν•œ κΈ°λ°˜μ„ μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
ν–₯ν›„ κ³Όμ œλ‘œλŠ” LLM 편견 μ™„ν™”λ₯Ό μœ„ν•œ 효과적인 μ „λž΅ 개발 및 λ”μš± λ‹€μ–‘ν•œ 언어와 λ¬Έν™”κΆŒμ—μ„œμ˜ 포괄적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage