숫자의 힘과 상식

직장에서 매출이나 사용통계 또는 설문조사 등의 여러 숫자들을 다루는 경우가 있다.
이런 정량적 숫자를 볼때 주의할 점들이 많이 있지만, 나 한테 가장 큰 것 하나만 얘기하라고 하면 나는 “이해가 가야 한다” 를 꼽는다.
이해가지 않은 정량 데이타는 의미가 없다 
이해가 가지 않은 숫자라면, 이는 엄청난 대발견을 했거나, 아니면 데이타를 잘못 수집했거나 분석을 잘 못한 것이다.
내가 대학원때 있었던 일이다.
실험을했고, 논문 쓸때에는 좋은 멋진 인터렉션 그래프가 나왔었다. 근데 난 상식적으로, 그리고 기존 인지과학 이론으로 보면 이해가 안되었다. 교수님은 멋진 그래프라고 하면서 논문을 쓰라고 했다.
난 늘 그렇듯이 내가 중요하게 생각한 것에 대해 내가 이해가지 않은 것을 얘기하고 싶지 않았고, 당연히 논문따위를 쓸 생각은 없었다. 그래서 다시 데이타를 분석해 보겠다고 했고, 결국 통계를 잘 못 돌린 것을 알았다.
교수님은 또 논문을 쓰라고 했다. 그러나 또 이해 안가는 구석이 나왔다. 후배랑 비디오를 보며새로운 측정도 했다. 이제 결과는 이해가 갔다. 그러나 아주 큰 발견은 아니었다. 그리고 논문을 썼다.
내가 하는 일은 소위 로켓 과학이 아니다. 그리고 내가 아인슈타인이나 뉴턴도 아니고, 뭘 대단한 것을 발견할 수 있다는 말인가. 이미 많은 사람들이 있었고, 내가 그 거인들의 어깨에 올라 숫가락 슬쩍 얹기는 하지만, 그런 작은 한걸음을 내딛는 것도 내 능력 정도로도 과분한 것임을 안다.

연구같은 것 말고도, 직장에서 하는 숫자를 보는 것도 다르지 않다. 통계 패키지를 돌리는 것이 아니라 그냥 엑셀로 빈도를 보는 것도 마찬가지이다.
의미가 아니라 이해가 가지 않으면 데이타 수집부터 분석까지를 다 의심해야 한다. 그리고 정량이 아니라 정성적인 데이타를 봐야 한다. 숫자는 이유를 잘 이야기 해주지 않기 때문이다.
마음속에 가설을 심어두고 데이타를 맞춰가는 그런 짓은 당연히 하지 말아야하지만, 사람이다 보니 그렇게 되기도 한다. 그래서 학교는 학회에 논문을 발표해서 다른 사람의 검증도 받고 한다.
숫자는 숫자일 뿐이지만, 그 자체가 영향력을 갖는다 
제대로된 것이 아니라면 숫자로 안보여주는 것이 좋을 때도 많다. 왜냐하면 숫자는 그 자체로 사람들에게 영향력이 있다.
일반 사람들은 보통 기술통계와 추론통계를 잘 구별하지 못한다.  그냥 있는 것을 모아서 뭐가 있나 보는 것이 기술적통계이고, 진짜 이럴까? 하고 모집단을 추론하는 것이 추론통계라고한다. 무슨 목적의 통계가 아니라 그냥 빈도라도 모아는 순간 그 숫자는 힘을 갖게 된다.  많은 숫자들이 그냥 기술통계인데, 실제로 모집단을 추론하는 경우가 많다.  십몇년전에 본 엉터리 사용성 테스트 보고서들이 그랬다. 8명의 참가자로 테스트를 해 놓고, 태스크 성공 실패와 소요시간을 그래프로 그린다. 기술통계를 추론통계처럼 얘기한다.  그리고 직장에서 하는 많은 빈도 숫자들도 그런다.
하긴 유명 마케팅 리서치 회사에서도 , 연령별 크로스탭 분석에서 사후검증도 안하고, 숫자가 차이가 있으니 진짜 연령별로 차이가 있다고 애기하기도 한다.
숫자는 감흥을 불러일으키기 어렵지만, 숫자는 동시에 그 자체로 힘을 갖는다. 스탈린이 그랬다고 한다

“한 사람의 죽음은 비극이지만, 100만명의 죽음은 그냥 통계숫자이다”

 
통계나 사용자 연구는 전문가가 해야 한다 
야콥 닐슨은 기획자(desinger)라도 가서 리서치를 해라고 했다. 왜냐하면 하도 사용자를 안만나고 지 혼자 상상해서 하니깐 안만나는 것 보다는 만나는 것이 좋다는 것이다.
이 주제가지고 대학원때  동료들과 토론을 하기도 했고, 특강 가서도 교수님한테 같은 질문을 받은 적이 있다. 난 제대로된 숫자가 아니라면 얘기하지 말고, 전문가가 아니라면 하지 말라고 한다. 왜냐하면 사람들은 보고 싶은 대로 보기때문이고, 사람들로 부터 데이타를 끄집어 내는 것은 따로 훈련을 받아야 하기 때문이다.
잘못하면 원래 하고 싶은 자기 주장에 “데이타”, 또는 “리서치 했다” 는 힘이 실려서 잘못된 일이 더욱 더 잘 못되게 되니 말이다.
중요도가 그리 심각하지 않고, 제대로 못해서 그럭저럭 결과가 안나오는 되는 일이 있는 경우도 많지만, 중요한 일이라면 통계나 사용자연구 방법론을 제대로 공부하지 않은 사람이 데이타나 연구 참여자를 대하는 것은 위험하다.  데이타나 연구 참여자가 잘못 건드리면 터지는 폭탄은 아니지만,  정보사회에서 잘못된 정보나 인사이트는 실제로 큰 폭탄이 될 수 있다.
 
데이타는 상식선에서 이해할 수 있어야 한다  
그러나 실제로는 우리가 무슨 로켓 과학을 하는 것도 아니고 많은 경우 전문 교육이나 경험 없이  숫자를 다루고, 사람을 인터뷰하게 되는 경우가 많다.
이럴 때에는 상식선(?)에서 그 숫자의 의미를 이해할 수 있어야 한다. 그게 나만의 경험으로가 아니라 다른 사람도 이해할 수 있는 선에서 말이다.  UI 나 마케팅에 관한 것이라면 이론을 더 알아야 이해할수 있지만, 그래도 사람사는 일이니 여러명이서 봐서 납득이 가지 않으면 정말 대단한 발견이라고 하기 전에, 우선 뭘 잘못했지 보고나, 숫자가 아니라 하나 하나 정성적으로 확인해봐야 한다.