2005년도에 MS 오피스 2007의 새로운 사용자 인터페이스 마소 기사 에 앞서 한참 오피스 2007에 대한 글을 읽다가 써놓은 것인데 잊어 버리고 있다가 찾아서 이제야 글을 올린다.
 

사용성 테스트 스톡홀롬 신드롬이란?

사용성 테스트 스톡홀롬 신드롬(Stockholm Syndrome)이란, 사용성 테스트에서 참가자가 평가하는 제품의 회사에 동화되어 테스트하는 제품에 대해 비판을 잘 못하는 현상을 말한다.

원래 스톡홀롬 신드롬 이란 인질사건에서 인질로 잡힌 사람들이 인질범들에게 정신적으로 동화되어 오히려 자신들을 볼모로 잡은 법인들에게 호감과 지지를 나타내는 심리현상으로  1973년 스웨덴 스톡홀름에서 은행에 침입한 4명의 무장강도가 은행 직원들을 볼모로 잡고 6일간 경찰과 대치한 사건에서 처음 관찰되었기 때문에 이런 이름이 붙여졌다( 두산백과사전).
 
 

(사진출처)

 
사용성 테스트에서의 스톡홀롬 신드롬이란 말은 그동안  HCI 학계나 사용성 연구에 대한 실무 영역에서 없었던 말로 MS 오피스 2007의 인터렉션 디자인을 주도했던 Jesen Harris 이 오피스 2007의 사용성 테스트를 보면서 쓴 글 에서 처음으로 사용한 말이다.
참가자가 평가하는 제품에 정말로 동화되는지에 대해서는 밝혀진 바는 없지만  내 경험상 틀린말은 아닌 것 같다.
일반적으로 사용성 테스트는 실험실에서 진행하는 실험실 테스트가 많다. 그리고 제품을 개발하는 회사중에서 제품의 사용성을 중요시 하는 회사는 사내에 사용성 테스트를 위한 실험실을 갖고 있다.  따라서 사용성 테스트에 참가하는 참가자는 많은 경우 제품을 개발하는 회사를 방문하게 된다.
사용성 테스트를  경험하면서 실험실에 온 참가자들이 갖는 공통적인 태도들을 발견 할 수 있었는데, 그 중 하나는 테스트 하러 온 참가자가 테스트 하는 제품에 대해서 심한 불만을 잘 드러내지 않고, 어떤 경우에는 호의적인 경우도 있다는 것이다.
 

왜 참가자는 테스트하는 제품에 동화되는가?

첫째,  참가자는 테스트해야 하는 제품을 만드는 장소에 갔기 때문이다

보통 사람들은 웬만히 적의를 가지고 있지 않는 한, 다른 사람 집에 가서 방문한 집에 대해서 비판 하기는 어렵다.  이와 비슷하게 참가자는 평가하는 제품의 회사에 손님으로 가게 되므로,  그 회사의 제품에 대해서 쉽게 비판을 하기 어렵게 된다.  남의 나와바리에 가서 어찌 함부러 비난을 하겠는가 말이다.
제품의  열혈 사용자인 경우에는 필요한 것들을 적어서 오는 경우도 있고, 오류를 경험한 것을 이야기하는 경우도 있따. 그러나 자기가 사용하는 제품을 만드는 곳이기 때문에 제품에 더 호의적인 태도를 보이는 경우가 많다.
 

둘째, 제품과 관련된 사람을 직,간접적으로 만나기 때문이다.

참가자는 테스트 하는 제품을 개발하는 사람을 직접 만나지는 않지만, 그 제품을 만든 사람들이 지켜보고 있다는 것을 알기 때문에,  불만스러운 것을 잘 이야기 하지 못하는 경우가 있다.
물론, 참가자가 직접 만나는 리서처 역시 해당 제품의 회사 직원이기 때문에 대 놓고 불만을 이야기 하기 어려울 수 있다.
 

셋째, 만든 사람이 보고 있거나, 만든 성의를 생각해서 심하게 말을 못한다.

리서치 에이전시에서 사용성 테스트나 포커스그룹 인터뷰를 할 경우에는  평가 대상의 회사가 아니라 리서치 에이전시에서 하는 경우가 많다.
리서치를 수행하는 사람이 리서치를 대행해준다고 밝혀도 참가자 중에는  테스트 하는 제품에 대해서 심하게 말을 하지 못하는 경우가 있다. 이 경우에 참가자는 만든 사람이 보고 있거나 만든 사람의 성의를 생각하는 사람이 있었다.
 

(야후? 코리아 아이트래킹 스터디)

 
그러나 실제로 사람들의 행동과 설문결과는 달랐다.
 
6~7년전쯤에 일방향 거울 뒤에서 관찰을 하고 있기 때문에 이를 의식했는지, 평소와 다르게 생각했거나 방해를 받았거나 잘하려고 노력했거나, 불편했는지에 대해서 사용성 테스트 후에 물어본적이 있다.(“사용성 테스트 윤리에 관한 연구 – 설명 동의를 중심으로”라는 논문에 포함되어있다)
샘플수는 적었지만  5점 만점에서 잘하려고 노력했다에 대한 것은 약 평균 2점으로 나타났었다(n=31). 사람들은 잘할려고 노력하지 않았다고 대답했다. 그러나 내가 느끼는 것은 그렇지 않았다. 실제 사람들의 행동은 잘 할려고 노력하는 것이 보인다. 이는 성적인 것들의 포커스그룹 결과를 믿을 수 없는 것과 유사하다. 이런것들이 가끔 내가 사용자 연구를 믿을 수 없는 상황이기도 하다.
둘째와 셋째는 실험실이 외부에 있어도 이런 현상이 일어난다. 사용성 테스트가 아니라 포커스그룹 인터뷰를 해도 이런 현상을 가끔씩 볼 수 있다.

이를 극복하려면?

깊이 생각해 봐야 겠지만 일단 생각난 것은 다음과 같다.

첫째, 제품 회사가 아닌 장소에서 에이전시 자격으로, 비교 평가를 한다

제품 회사가 아닌 다른 장소에서 테스트를 할 경우, 해당 제품 회사의 장소에서 오는 참가자의 동화를 줄일 수 있다. 그리고 테스트 하는 제품의 소속이 아니라 에이전시 자격이라면 참가자 입장에서 부담이 줄 것이다.
포커스 그룹 인터뷰를 진행할 때 리서치 에인전시의 장소를 대여해서 한 적이 있는데, 장소가 제품의 회사가 아니었지만 해당 제품 개발자가 볼 것이라는 것이 영향을 준 것 같았다. 포커스 그룹 인터뷰 진행 경험이 있는 다른 사람도 같은 이야기를 했다.
또한 한 개의 제품만 하는 경우에는 여전히 제품 개발하는 사람의 성의를 봐서 잘 이야기 하지 못할 수 있다. 따라서 가능한 한개의 제품이 아니라 다른 제품을 같이 평가해서 비교 평가를 하면 이를 줄일 수 있다.
 

둘째, 전적으로 연구자의 스킬에 달려있다.

제품을 개발하는 회사내부에 사용성 실험실을 설치하는 것은 제품 개발과 보다 긴밀하게 일을 하기 위해서이다. 따라서 사용성 실험실을 외부에 두면 관리 비용도 들게 되고, 제품 개발팀이 관찰하러 가는 것도 불편하게 되어 효율적이지 못하다.
또한, 연구 윤리에 의해서 참가자는 연구에 참가하기 위해서 스스로 결정하는데 필요한 정보를 알아야 하고, 이해해야 한다. 따라서 연구자는 참가자를 속여서는 안된다. 만약 연구자가 참가자를 속인다면 참가자는 어떻게 참가자의 개인 정보와 테스트한 내용이 유출되지 않는 다는 것을 믿을 수 있겠는가.
사용성 테스트는 행동 과학에 근건을 두기 때문에 참가자의 의견이 아니라 행동이 주 데이타이다. 참가자의 말도 행동할 때의 사고 과정을 씽크얼라우도한 것이 유효하다.
참가자의 동화로 인해서 연구에 영향을 주는 것은,  참가자가 제품에 동화되어 제품이 잘못된 것이 아니라 처음 봐서 잘 익숙하지 않다거나 하는 등 스스로가 잘 못했다고 생각하는 것이다. 그래서 참가자가 태스크를 잘 못할 때에 제품이 아니라 자기 자신에 문제가 있다고  생각해서 씽크얼라우드나  사후 인터뷰에서 그때의 사용 과정을 말로 하지 않은 현상이 발생한다.
참가자의 동화는  제품 개발 상의 리서치의 효율성을 위해서 떠안고 가야할 수도있다. 그리고, 연구자의 스킬로 이러한 제약을 어느 정도 극복할 수 있다고 생각한다.
Jesen는 참가자가 제품을 잘 비난하지 못하는 이유로 참가자의 동화와 참가자 스스로를 비난한다는 것을 이야기 헀지만 내 생각엔 참가자의 제품에의 동화와 스스로의 비난은 다른 문제라고 생각하기 때문에 스톡홀롬 증후근 자체만을 다루었다.
 
***
데이타를 통계팩키지로 분석하거나 비디오 프로토콜을 분석해서 모델과 인사이트를 찾는 것을 리서치라고 생각한다면 큰 오산이다. 참가자 리쿠리팅 뿐만 아니라 데이타를 수집하는 과정과 최종 결과를 전달하고 그  영향을 통해 원래 목적하는 결과가 나오는 모든 과정의 총합이 제대로된 리서치이다. 사람들이 설문지를 읽고 답을 하는 머릿속의 과정뿐아니라 실험실 연구에서의 이러한 문제들을 인식하고 해결하는 것 또한 연구자의 몫이다.
이와 관련해서 내가 늘 애기하는 것중 하나는 “보통의 요리사는 요리를 잘하지만 뛰어난 요리사는 재료를 직접 고르거나 재배한다” 리서치도 마찬가지이다.