사용성 테스트와 CSI의 공통점

사용성 테스트와 CSI의 공통점
제품 개발에서의 유저 리서치는 CSI (Crime Scene Investigation ) 와 같은 범죄현장분석과 유사하다고 생각합니다. 그 공통점이라고 들 수 있는 것은 다음과 같습니다.

• 문제의 원인을 찾는다
• 과학적인 방법을 사용한다
• 증거 기반의 문제 해결을 한다

(CSI 사진)
제가 처음 리서치가 범죄 수사와 유사하다고 생각한 것은 일본 드라마이자 영화화된 “춤추는 대수사선” 를 보면서 부터 입니다. 춤추는 대수사선은 영화 뿐만 아니라 드라마를 모두 다 보았고, 이로 인해서 경찰학의 범죄수사학에 관심을 가지게 되었습니다. (최근에는 CSI 를 시즌 1부터 차근 차근 보고 있는데, CSI 관련 글을 더 올릴 지 모르겠습니다) 그 이유는 리서치를 증거 기반의 활동이라고 생각했기 때문입니다.
실증적인(경험적인) 방법론으로 리서치를 할 때에는 증거가 있어야만 발견사항이 될 수 있다
범죄수사는 대부분이 증거 위주가 아니라 자백 위주라고 합니다. 아마도 그래서 수 많은 사람들이 자백서를 쓰거나 아니면 고통을 겪은 모양입니다. 최근에는 우리나라에서도 거짓말탐지기를 도입을 해서 사용하고 있다고 합니다. 그러나 우리나라에서는 판결시 참고만 할 뿐 아직 판결을 내릴 수 있는 증거 자료로 사용되지 못한다고 합니다. 미국에서는 주 마다 다르고 합네요.
심증은 있는데, 물증이 없다는 말이 있습니다. 증거가 없으면 그냥 추측일 뿐입니다. 물론, 전문가의 통찰력은 증거를 찾게 하는 실마리가 되기도 합니다. 파인만은1986년 1월 우주 왕복선 챌린저호가 공중에서 폭발한 원인을 찾아 냈는데, 그는 실험을 통해 증명해보이면서 유명한 일화를 남겼습니다. (<나는 물리학을 가지고 놀았다> 에도 그 일화가 나와있습니다)
CSI를 보면 증거 기반의 수사를 보여주는 예들이 많은데 그 한가지 예는 다음과 같습니다.
시즌 1 의 2번째에서 CSI 에 그라샘이 이런 말을 합니다.

그리고 나서는 어떤 용의자에게 어떤 증거가 나오면 당신은 검거되고, 어떤 증거가 나오지 않으면 집으로 돌려보낸다고 합니다. 증거 기반의 수사라는 것의 단적인 예라고 생각됩니다.
사용성 테스트는 증거가 있어야 유효한 발견사항이 될 수 있다
제가 사용성 테스트 보고서에서 가장 중요하게 여기는 것은 바로 발견사항의 증거와 이유입니다. 왜냐하면 사용성 테스트는 연구 방법상 분석적인 연구가 아니라 실증적(경험적)인 방법이기 때문입니다. 이유가 중요한 것은 사용성 테스트를 정성적으로 했을 경우입니다.
(몇년 전에 이에 대해서 논문을 써보려고 하면서 혹시나 있나 찾아 보았는데, 이미 CMU의 GOMS 모델링의 대가중이 한분인 Bonnie 와 Maria 가 이미 했더군요. 쩝)
Maria와 Bonnie 의 On the contributions of different empirical data in usability testing (ADIS 2000: Design of Interactive Systems, (New York City, 17-19 August 2000). 라는 논문을 보면 사용성 테스트에서 실증적인 데이타가 발견사항과 어떤 관계를 갖는지를 보여줍니다.

그림에서 보는 것과 같이 모든 원시 데이타가 증거가 되는 것도 아니고, 모든 증거가 발견사항이 되는 것도 아닙니다. 또한 원시 데이타나 증거와 발견사항이 일대일의 관계도 아닙니다.
실증적인 연구 분야에서는 발견사항과 증거의 관계가 동일하게 적용된다고 생각합니다. 따라서 사용성 테스트 뿐만 아니라 필드 리서치도 마찬가지이고, 포커스그룹 인터뷰도 마찬가지입니다 증거가 있어야 합니다.

증거는 리서처의 분석이 아니라 참가자의 행동 데이타 이다
증거가 있어야 발견사항이 될 수 있지만, 그 증거가 리서처의 분석이어서는 안됩니다. 리서처가 전문가 입장에서의 분석적인 접근으로 발견사항을 보고서에 쓴다면, 뭐하러 힘들게 평가할 제품을 준비하고 참가자를 섭외해서 평가를 하겠습니까.
전문가 분석과 실증적인 리서치는 구별되어야 합니다. 전문가의 통찰이나 분석은 문제의 원인을 찾는 실마리로 이용될 수도 있습니다. 그러나 그것을 실증적으로 증명이 되어야 합니다. 사용성 테스트나 필드 리서치, 포커스그룹 등의 실증적인 방법은 증거가 있어야 비로소 발견 사항이 될수 있습니다.
사용성 테스트 보고서 중에 발견사항을 봐서는 전문가 분석 보고서인지 사용성 테스트 보고서인지 구별할 수 없는 보고서가 있습니다. 그런 보고서에는 참가자와 같이 사용성 테스트를 해 놓고,보고서에는 증거도 없이, 또는 증거를 명확하게 기록도 하지 않고 전문가가 분석해서 발견 사항을 기록하는 경우입니다. 사용성 테스트와 전문가 분석을 구별못하는 보고서는 처음 부터 연구 방법론을 구별못하고 있기 때문에 그 결과를 신뢰할 수 없습니다.
사용성 테스트를 진행하면서 참가자는 문제를 격지 않았지만 전문가(?)는 사용상의 문제점들이 눈에 보일 때가 있습니다. 그러나 사용성 테스트를 하고 있는 것이라면 아무리 눈에 보여도 증거가 없으면 보고서에 발견사항이라고 쓸 수 없습니다. 사용성 테스트는 실증적인 방법론 중의 하나이므로 증거가 있어야 발견사항이 될 수 있기 때문입니다.
저는 지금까지 CSI를 예를 들어 증거 기반의 리서치에 대해서 이야기 했습니다. 이렇게 증거가 있어야 믿는 것은 ‘사실에 관한 모든 지식은 실증적 경험자료를 바탕으로 한다’ 는 서양의 실증주의의 산물이라고 합니다. 철학에 대해서는 잘 몰라서 제가 주장하는 증거 기반의 리서치가 보는 방법을 바꾼다면 도로묵이 될 수도 있을 것 같다는 생각은 듭니다. 그러나 저 같은 보통의 사람이 아닌 뛰어난 사람들이 여러 분야에서 실증적인 연구(경험적인 연구라고도 부름)로 세상의 지식을 쌓아 가고 있으므로 현 시대에서는 믿을만 하지 않나 싶습니다.