설문 편향(Survey Bias)

유도 심문,
질문지 자체가 편파적이거나 조사 환경이 왜곡되어 있어 유저의 진심이 아닌 '설계된 가짜 의견'이 수집되는 상태

정의

설문 조사 과정에서 질문의 구성, 순서, 응답자의 심리 상태, 혹은 표본 선정 방식 등의 요인으로 인해 결과가 실제 모집단 의견과 다르게 나타나는 체계적인 오류

설문 결과는 절대적 진실이 아닌 질문에 대한 반응일 뿐, 편향이 개입된 설문 데이터는 잘못된 비즈니스 의사 결정을 내리게 하는 위험 요인이 될 수 있다

편향 유형	주요 내용	방지 대책
사회적 바람직성 편향	타인에게 '착하고 정상적인 사람'으로 보이고 싶어 본심과 다른 답을 하게 되는 것	익명성을 강력히 보장하고 리서처의 개입이 적은 비대면 환경을 활용
묵인 편향	질문과 상관없이 출제자 의도에 동조하거나 무조건 긍정적인 답을 하는 경향	긍정문과 부정문을 섞은 역문항을 배치해 응답 일관성 검적
중간점 편향	책임을 피하거나 고민하기 귀찮을때 중간만 선택하는 현상	보통이라는 도피처를 없앤 짝수척도 (4점,6점)을 사용해 명확한 선택 유도
순서 효과	앞의 질문이 뒤따르는 질문 답변에 무의식적인 선입견을 주는 현상	질문 단위를 무작위로 섞거나, 민감한 질문은 라포가 형성된 뒤로 배치한다

•

중립적 언어 설계 :
저희 서비스 편리하지 않나요 ? → 서비스 이용 경험을 평가해주세요
유도성 형용사를 배제하고 중립적 문구를 사용

•

구체적인 앵커링 :
자주 이용한다 → 주 3회 이상 이용
명확한 기준을 제시해 응답자 간의 해석 차이를 줄인다

•

'나'를 지우는 리서치 :
내가 편하니까 사용자도 편할 것이라는 거짓 공감 효과를 경계하고 반드시 실제 타겟 유저를 대상으로 편향이 통제된 설문을 진행해 가설을 검증해야 한다

•

정성적 조사와의 병행 :
설문(정량) 결과가 의심될 경우, 인터뷰(정성)을 통해 수치 뒤에 숨은 사용자의 진짜 맥락과 감정을 교차 확인한다

데이터라는 탈을 쓴 설계자의 주관,

디자이너는 높은 만족도에 안주할 것이 아니라 어떻게 하면 사용자의 심리적 장벽을 허물고 날 것 그대로의 목소리를 데이터로 전환할 것인가에 집중해 의사결정 정밀도를 높여야 한다