호손 효과(Hawthorne Effect)

정의

자신이 관찰되고 있다는 사실을 알고있을 때 평소와 다른 행동을 보이는 현상

누군가 보고있다고 생각하면 더 열심히 일하거나 더 좋은 결과를 내려고 노력하는 경향이 있다

발생 원인

사용성 테스트

사용자 테스트 시 관찰자가 근처에 존재하는 것으로도 사용자는 평소보다 더 신중하게 행동하고 더 긍정적으로 평하라는 경향을 보인다

A/B 테스트

현재 사용중인 버전이 어떤 디자인인지를 알고 있는 자체가 사용자 행동에 영향을 미칠 수 있다

신기능 도입

신기능이 도입된 것을 아는 것만으로도 더 적극적으로 그 기능을 사용하고 긍정적인 평가를 제공하려 한다

영향

실제로 제품을 사용할 때 하는 행동과 테스트 환경에서의 행동이 다르기 때문에 디자인 개선을 위한 정확한 데이터를 얻기 힘들다

평소보다 더 긍정적인 평가를 하기 때문에 정확한 피드백을 받을 수 없다

호손효과 방지하는 방법

맹검법 : A/B 테스트의 경우 현재 사용버전에 대한 정보를 알리지 않는다

관찰자 최소화 : 관찰자의 개입을 최소화하고 카메라를 이용한 녹화 등 비대면 관찰 방법 사용

장기적 관찰 : 아주 짧은 테스트 말고 장기적으로 사용 패턴을 관찰한다

다양한 연구 방법 활용 : 설문 조사, 인터뷰 등 다양한 연구 방법을 병행해 데이터 수집