관찰자 기대 효과 (Observer-Expectancy Effect)
정의
연구자가 연구 대상으로부터 특정한 반응을 기대하고, 그 기대가 실제로 결과에 영향을 미치는 현상
연구자의 기대로 인해 의도치 않게 연구 대상자의 행동을 변화시킬 수 있다
발생 원인
•
상호작용
연구자와 연구 대상자가 직접 상호 작용하면서 의도치 않게 특정 반응을 유도할 수 있다
특정 기능에 대한 긍정적인 평가를 기대하며 질문을 하거나, 특정 행동을 보이기를 기대하며 시선을 집중하는 경우
•
데이터 해석의 주관성
연구자가 수집한 데이터를 해석할 때, 자신의 기대에 맞춰 결과를 해석하는 경향
기대했던 결과가 나왔다면 그 결과를 강조하고, 기대하지 않은 결과는 간과하거나 다른 요인으로 설명하려 함
영향
•
연구 결과 신뢰성 저하 : 연구 결과의 객관성과 신뢰성을 떨어뜨리고 잘못된 결과를 도출하게 만든다
•
편향된 디자인 도출 : 관찰자의 기대에 맞춰 디자인을 개선하게 되면 실제 사용자 요구를 충족시키지 못하는 디자인이 나올 수 있다
관찰자 기대화를 줄이는 방법
•
맹검법
연구자가 연구 대상의 조건을 모르도록 하는 방법
만약 A/B 테스트를 진행한다면 연구 대상자가 지금 보는 것이 어떤 시안인지 모르게 하는 것
•
이중 맹검법
연구자 뿐만 아니라 연구 대상자도 자신이 어떤 조건의 대상자인지 모르게 하는 것
•
객관적 데이터 수집
설문 조사, 로그 데이터 등 객관적 데이터를 수집하여 주관적 해석을 최소화
•
다수의 연구자 참여
여러 명의 연구자가 독립적으로 데이터를 분석하고 결과를 비교해 주관적 편향 최소화
•
자동화 된 분석 도구
연구자가 분석하는게 아니라 분석 프로그램을 이용하여 연구자의 주관적 개입 최소화