Jakob Nielson 은 Usability Engineering 이란 책을 내면서 delux 가 아니라 dicount 의미에서 Discount Usability Engineering 이란 말을 만들어 냈다. 그리고 다른 사람들의 논문을 메타 리서치 해서 사용성 테스트의 참가자 수에 대한 논문을 책에 넣으면서 5명으로 해도 된다 하면서, 정량적인 사용성 테스트를 정성적인 사용성 테스트가 가능하도록 했다. 닐스의 칼럼 Why You Only Need to Test With 5 Users 에도 아래 그림과 같이 다른 연구자들이 한 보고서를 보고 참가자수에 따라서 발견갯수를 그래프로 그린 것이 있다.
 

 
닐슨이 참가자 수에 대한 언급을 인용하면서 기업에서도 사용성 테스트를 수행할 수 있게 되었다. 사용성 테스트을 하고 있거나 아는 사람들은 사용성 테스트의 참가자수는 5명으로 알고 있는 사람이 많을 것 같다. 5명으로 사용성 테스트 하는 것은 닐슨이 처음 한 것은 아니고, 다만 닐슨이 널리 알렸을 뿐이다. 그리고 사용성 테스트는 5명으로 만 하는 것이 아니다.
2000년 전후로 국내 HCI 학계에서도 사용성 테스트 해봤다 라고 하면서 논문을 내기 시작했고, 그 즈음 인터넷 업계에서는 웹 사이트 평가라는 시장이 조그많게 형성되었다. 그러더니 이 메타 리서치한 닐슨의 논문을 근거로, 5명으로 사용성 테스트를 하는 사람들이 생겼다.
사실, 닐슨의 이 메타 리서치 때문에 기업에서도 사용성 테스트가 보편화 되기 시작했다. 그런데 문제는 닐슨은 하지 않는 것 보다 낫다고 하면서 일단 해 보라고 했고, 우리는 아무나(?) 했다는 것이다. 닐슨은 Discount Usability for the Web 와 같은 칼럼에서 일단 해보라고 했다.
 

Just Do It

The true choice is not between discount and deluxe usability engineering. If that were the choice, I would agree that the deluxe approach would bring better results. The true choice, however, is between doing something and doing nothing. Perfection is not an option. My choice is to do something
나는 나이키의 카피라잇과도 같은 “Just Do It”의 닐슨의 주장은 1993년도경에 사용성 테스트의 보급을 위해서 제품을 개발할 때 사용성 테스트를 널리 사용해라라는 의미로 생각한다. 일단 해보자라는 의미이지 아무나 해도 된다는 해석은 위험하다.
 

 
2000년도경에 웹 에이전시 시장이 형성되었고, 이 웹 에이전시들은 시각 디자인을 하는 회사였다. 그 중 UI 를 한다고 하면서 사용성 테스트나 휴리스틱 평가 같은 것을 하는 회사도 있었다. 또는 사용성 테스트를 전문으로 하는 회사들도 있었다. 이 중 몇개의 보고서를 본적이 있었는데, 나 처럼 귀동냥 정도의 수준으로 봐도 그 엄청난 사기들이 눈에 보였다. 대부분의 사용성 테스트 보고서는 그냥 전문가(?) 평가 보고서였다.
2003년도에 다음 버전을 개발하면서 현재의 문제점을 수치화해서 다음 버전과의 차이를 알고자 하는 프로젝트를 발주한 적이 있다. 들어온 회사와 1시간 동안 회의를 했음에도 그 회의 시간내내 내가 들은 것은 사용성 테스트를 하겠다는 것이었다. 부장님한테꾸중을 듣고, 그냥 사용성 테스트를 하게 했다. 그리고, 그 테스트 세션에 한번 참석을 했다. 내가 관찰한 갯수는 제품의 문제점 보다 사용성 테스트 자체가 더 많아서 30분쯤 지나서는 테스트 방법과 제품의 문제점 둘다 적을 수가 없었다. 그래서 내 잘 못이다고 생각하고 아예 다음 세션 부터는 참석을 하지 않았고, 그 결과를 쓸 수가 없었다. 다른 계약건 때문에 공짜라서 했지, 안그랬으면 나 모가지 날라갈 뻔 했다.
나도 실험심리학을 전공한 사람도 아니고 사용성 테스트를 누구한테 제대로 배워본적이 없다. 그래서 다른 사람이 어떻다고 할 처지는 안되서, 한 6년 정도 비전문가가 하는 사용성 테스트 하는 것을 보면서 그냥 그러러니 하고 있었다.
그런데 최근에 비전문가가 사용성 테스트 하는 것을 다시 보면서, 안하는 것 보다 나을까 아니면 제대로 할 때 까지 못하게 할까? 아니면 하면서 배우게 할까 하는 생각이들었다. 중요한 제품의 문제점을 발견하거나, 시안을 결정하는 것과 같은 리서치에서는 닐슨이 얘기하듯이 나이키 광고처럼 해봐라하는 식으로는 모가지 날라갈 수 있다. 잘 못하면 사용성 테스트가 제품팀의 의도에 맞게 이용될 수도 있고, 사용성 테스트 자체가 개발에서 의미가 없게 되는 인식도 줄 수 있다.
물론 사용성 테스트 전문가의 자격 요건이 공인된 것은 없다. UPA 에서 자격증 만든다고 한적도 있지만, 그냥 해봤냐? 뭐 전공했냐? 이정도인 것 같다. 자격증은 사람들이 공통적으로 인정하는 기준이지만 자격증이 진짜 자격과 거리가 먼 경우가 륀Ž다.
예를 들어, 나는 정보처리기사 1급 자격증이 있지만, 프로그램짜는 거랑 아무 상관이 없다. 나는 MS 자격증이나 델파이, SCJP 자격증이 없지만 MS툴이나 자바로 프로그램을 짜고 밥을 먹고 살었다. 나는 Ph.D 자격증이 없지만 석사 논문쓰는 사람들이 도와달라고 온다. 그러나 차이는 있다. Ph. D 자격증이 있는 사람한테는 강의요청이나 논문 심사위원해달라고 하고, 나 한테는 논문 내용을 가지고 온다. 나는 자격증 없이 일을 해와서(?) 내가 아는 분에의 전문가와 비전문가의 구별은 자격증이 아니라 실제로 하는 것을 보고 판단한다.
 

 
사용성 테스트, 이제는 일단 해보자가 아니라 제대로 해야 할 때이다
사용성의 중요성을 널리 보급시키기 위해서 많이 해봐라라는 식은 지금은 아니다. 사용성 테스트인지, 사용자 테스트인지 구분을못해도 다들 이름이나 방법은 대충 안다. 뭐그냥 사용자 데려다가 쓰게 해보는 거지 하면서 말이다.
여러가지 사용성 평가 방법 중 실증적인 방법(empirical method)인 사용성 테스트는 제품을 사용자 입장에서 평가할 때 가장 중요한 방법이다. 이제 아무나 하지 말자. 제대로 하자. 어떻게? 이건 한방에 얘기할 분량도 아니고, 내가 말할 수 있는 수준도 아니다.
재대로 아는 사람이 있으면 좀 알려달라. 이런 사람을 만나기 전 까지는 내가 하는 짓이 제대로인지에 대해서 계속 의심하고 공부해서 제대로 하려고 노력하는 방법 밖에 없다. 제대로 평가하는 것 만큼 제대로인 것을 평가하는 것이 중요하다. 그러나 평가하는 사람은 우선 제대로 평가 해야 한다.
지금은 1993년이 아니라 2006년도이다. 사용성 테스트는 이제 Just Do It 이 아니다. Measure Right 의 모토로 제대로 해야 한다. 물론, measure the right thing 은 말한 것도 없다.