아무리 전문가라도 사용성 테스트는 필요하다

3~4년 전에 홍콩에 있는 인터렉션 디자이너가 내게 사용성 테스트에 필요한 각종 양식이나 진행방법들을 물어온 적이 있다.
나는 “왜 인터렉션 디자이너가 사용성 테스트를 하려고 하느냐? ” 고 물었다. 그 사람은 “리서처가 없으니 자기라도 해야 한다” 고 대답했다.
나는 다시 “그동안 잘 검증된 인터렉션 디자인 패턴을 사용하면 사용성 테스트를 줄일 수 있지 않겠나?” 고  물었다.
그녀는 이렇게 대답했다. “아무리 잘 해도 실제로 사용자가 사용하면 다를 수 있으니 반드시 사용성 테스트를 해야 한다”
제품을 기획하거나 만드는 사람 중에 이런 태도를 가진 사람을 만난 것은 처음이었다.  그 사람은 지금은 MSN 에 있는데, 오피스 2007의 혁신적인 MSN 광고와 사용성이 글감을 제공하기도 했다.
사용성 테스트를 해야 하는 이유
수준 이하의 것을 사용성 테스트 해야 하는가 라는 글에서 나는 이런 얘기를 했다.

아무리 뛰어난 인터렉션 설계자라도 사용성 테스트는 무조건 필요합니다.
기본적으로 아무리 많이 알려진 이론이나 경험이 있다고 하더라고 만드는 제품의 도메인과 태스크와 사용자는 다 다르고, 기본적으로 만드는 사람과 쓰는 사람이 다르기 때문입니다.

갑자기 이 얘기를 하게 된 것은 최근의 사용성 테스트를 관찰하면서 이점을 또 느꼈기 때문이다.
사용성 테스트를 하기전에 평가 대상을 잠깐 보고  내 인터렉션 디자인 패턴 시스템에  배드 디자인으로 등록할 만한 것을 상당수 찾았다. 그러나 늘 그렇듯이 난 회사에서 절대 전문가 평가를 하지 않고 고생고생 해서 하는 실증적인 평가만 한다.
원래 사용성 테스트와 전문가 평가의 차이 처럼, 사용성 테스트 결과는 내가 한  전문가 평가의 결과에서 크게 벗어나지않았지만, 역시 전문가가 아니라 실제 사용자가 겪는 어떻게보면 작지만 사용자에게는 큰 문제점들도 찾을 수 있었다. 그리고 중요한 실증적인, 그 ‘증거’ 들을 찾을 수 있었다.
아무리 전문가의 설계도 실제 사용성 테스트를 해봐야 한다
이번 사용성 테스트에서 내가 분석적, 휴리스티적 평가에서 발견한 것과 실제 참가자가 겪은 것과 다른 점을 하나 찾았다.
그건 인터렉션 설계측면에서는 잘못된 설계인데, 사용자에게는 심각한 문제가 되지 않았다는 점이다. 순서가 없는 태스크를 순서가 있는 인터렉션을 했으므로 잘못된 설계이지만 참가자들은 순서가 아니라 그 설계에서 해야할 총 갯수 정보를 얻어 태스크를 무리 없이 마친 것 이다.
그렇다. 분석적으로는 잘 못된 인터렉션 설계이지만 참가자는 그런 것을 정확히 평가하는 것이 아니라 ‘대충~ 필요한 정보를 이용’ 한 것 같다.
사람들이 하는 의사결정도 비슷하다. 많은 경우 실제로 사람들의 의사결정은 평가요소별로 표를 만들어 넣고 비교 분석하지 않는다. 정렬 알고리즘 중 거품정렬 처럼 한개씩 비교하는 경우가 많다.  ‘의사결정의 가이드 맵’ 의 저자가 쓴 의사결정과 관련된 논문에 그런 내용이 있다.
그런데 전문가들이 분석할 때에는 여러 원칙과 경험적 분석을 통해서 어쩌고 저쩌고 평가를 한다. 실제로 사용자가 어떻게 사용하는지는 해봐야 아는데도 말이다.
여기서 한발 더 나아가면, 인터렉션 설계서 상태에서도 뭐가 문제인지 알아내지 못하면서 사용성 테스트 일정을 잡지 않거나 그럴 필요가 없다고 생각하는 사람들을 볼때 마다 사용자를 괴롭히고 회사를 망하게 하는 장본인들이 여기 있구나 하는 생각이 든다.
이론과 실제의 차이
효율적인 측면에서 보면 사용성 테스트는 참 비효율적이다. 사용성 테스트는 전문가 평가의 효과에 비해 상당히 노동 집약적인 연구 방법이다.   그러나 이론과 실제의 차이는 실제 사용성 테스트를 통해서 알 수 있고 극복할 수 있기 때문에 안 할 수가 없다. 이는 비단 제품의 사용성 테스트 뿐만 아니라 누구를 위해 뭔가를 주는 모든 활동에도 적용된다. 물론 ‘해 봐야 안다’ 라는 식은 곤란하다.