데이타 측정 자체의 문제

과학적 연구방법이라는 것은 대개 세상에서 일어나는 결과에는 원인이라는 것이 있다고 보고 그 원인을 찾기 위해서 가설을 세워서 검증을 하는 식이다. 인과가 아니면 상관이라도 밝힌다.

원인을 알아내기 위한 실증적인 방법으로는 실험을 하거나 검사를 한다.

실험이나 조사를 하는 과정에서 청진기를 들이대거나 빨대를 꽂거나 약물을 넣어서 변하는지 보거나, 사람들에 대한 것이면 물어보거나 해서 어떤 식으로든 관여를 하게 된다.

그 관여 자체가 원래 결과에 영향을 주거나 아니면 관여 자체가 문제일 수도 있다.

몇가지 사례를 살펴본다.

알라지 검사를 위한 바늘

영화 <블룸형제 사기단> 에서 주인공 형제는 백만장자 상속녀인 아가씨에게 작업을 거는데, 이 아가씨의 인생이 참 슬프다.

혼자서 책을 보고 뭔든 배우는데 그 이유는 학교에 가지 못해서이다. 학교에 가지 못한 이유는 알러지가 있기 때문이었다. 하루종일 침을 꽂고 알러지 검사를 했는데 거의 모든 것에 알라지가 있어서 아예 집 밖을 나서서는 안되었던 것이다.

그리고는 어머니가 아프셔서 돌아 가실때 까지 간호하느라 또 집밖에 나갈일이 없었다고 한다.

그런데 허무하고 불쌍한 것은 나중에 알게되는데 이 아가씨의 알라지는 다름아닌 검사할때 쓰였던 바늘에 대한 알러지였다.

바늘만 피부에 안꽂으면 되는 것을 학창시절을 집에서만 지내게 된것이다.

이 내용은 블룸형제가 작업가는 과정에 나오는 한 토막인데 난 데이타 수집 자체에 대한 문제가 생각이 났다.

블룸형제 사기단

(영화 블륨형제 사기단, 사진 출처)

호손실험(Hawthorne experiment)

호손실험은 1924~1932년에 하버드대학의 Elton Mayo 에 의해 수행된 실험으로 조명강도와 노동률의 관계를 규명하기 위한 것이었다. 가설은 가장 적당한 조명을 비춰준다면 피로를 줄이고 노동 능률도 높일 수 있을 것이라는 것이다.

그런데 결과는 예상과 반대로 조명의 명암과 관계없이 생산성이 올라갔다.

hawthorne-workers

(hawthorne-workers ,사진)

그 이유는 실험중에 데이타를 측정하느라 사람들에게 물어보거나 설문조사를 했었을 텐데 그게 노동자들은 스스로 관심을 받는다고 생각해서 열심히 일하게 된 것이다.

결국 이 실험으로 노동자도 어디 까지나 살아 있는 인간이라는 점을 분명히 해주었고 이를 통해 인간관계론이 경영학에 영향을 미쳐 좋은 인간관계를 유지하고 배려해주면 높은 생산성을 가져올 수 있다는 것의 바탕이 되었다. 이게 조직관리에서 호손효과(Hawthorne effect)이다.

생산성과 동기에 대한 이슈도 중요하지만 내가 재미있게 본 것은 바로 원인을 규명하기 위한 실험에서 그 실험의 결과를 측정 자체에서 바로 주효과에 원인이 된 것이다.

게다가 놀라운 것은 데이타 측정 자체가 결과에 영향을 준것이므로 분명 실험이 잘못 된 것인데 측정 자체를 원인으로 찾은 연구자들이다. 대단하다.

사용성 테스트에서의 씽크얼라우드

사용성 테스트에서 뭔 생각을 하는지 알기 위해서 생각하는 것을 소리내어 말하게 한다.  이걸 씽크얼라우드(think aloud method) 라고 하는데 원래는 싸이몬과 에릭슨이 만든 것이다.

그런데 씽크얼라우드는 말그대로 생각하는 것을 말로 하게 하는 것인데  말은 인지과정을 거치게 되므로 다른 자기 잡 생각이 관여를 할 수도 있다.

즉, 말로 하다 보면 말이 다시 귀로 들어가서 자꾸 논리적이 될 수가 있다. 즉 내재적인 생각을 외재적인 말로 표현하면서 그게 객관화 되어 다시 생각하게 될 수 있다. 그래서 원래는 못푸는 문제나 태스크를 하게 될 수도 있다.

사실, 우리도 생각이 복잡하거나 잘 생각이 안나면 혼자서 말로 바꾸거나 아니면 종이에 쓰다보면 이게 객관화되어 더 문제를 잘 풀수 있게 되기도 하지 않은가.

이렇게 사람들이 머릿속에서 일어나고 있는 일을 알아내기 위해 싸이몬이 고안했다는 이 씽크얼라우도 방법도 잘 못 사용하면 데이타를 오염되게 한다.

아이트래킹 장비 업체나 아이트킹 연구하는 사람이나 회사는 이 점을 씽크얼라드의 문제점이라고 하면서 시선을 추적해야 한다고 주장한다.

씽크얼라우드

어떤 참가자는 이를 이용해서 평소 불만있는 것을 얘기하기도 하고, 어떤 참가자는 이렇게 말을 외재적으로 하는 식으로 해서 못푸는 문제를 풀기도 하지만 여기에도 방법은 있다.

***

이렇게 원인을 알아내기 위한 실험이나 검사 과정중 측정 자체가 결과에 영향을 주거나  그 자체가 오류를 범하는 몇가지 사례를 살펴 보았다.

실험을 하면 반드시 측정이라는 것을 해야 한다.  그러나 측정을 할때 측정 자체가 문제를 일으키지 않은지 심사숙고해야 할 것 같다. 아니면 호손실험처럼 측정 자체가 원인이 되는지도 겸허하게 살펴봐야 할 것이다.

Related Post




  • Eyetracing Research를 수행하면서 Think Aloud 기법을 동시에 활용하게 되면 아무래도 시선 움직임까지 영향을 미치기 때문에, Eyetracking Research를 수행하는 동안은 하지 말라고 주장이 타당성을 얻고 있습니다. (심지어 지시문을 어떻게 주느냐에 따라서 상당한 영향을 받고 있는 것을 알고 계실겁니다.) 그래서, Eyetracking Research를 수행한 이후 수행한 결과를 보여주면서 하는 Post-Think Aloud 기법을 적극 활용하라는 논문까지 있습니다.

    아무래도 Bias를 가능한 최소한으로 줄일 수 있는 방법이 무엇이냐, 그리고 신뢰롭고 타당한 측정치를 어떻게 획득할 것이냐가 항상 고민인 것 같습니다.

    좋은 포스팅 잘 보고 갑니다.. ^^

  • Eyetracing Research를 수행하면서 Think Aloud 기법을 동시에 활용하게 되면 아무래도 시선 움직임까지 영향을 미치기 때문에, Eyetracking Research를 수행하는 동안은 하지 말라고 주장이 타당성을 얻고 있습니다. (심지어 지시문을 어떻게 주느냐에 따라서 상당한 영향을 받고 있는 것을 알고 계실겁니다.) 그래서, Eyetracking Research를 수행한 이후 수행한 결과를 보여주면서 하는 Post-Think Aloud 기법을 적극 활용하라는 논문까지 있습니다.

    아무래도 Bias를 가능한 최소한으로 줄일 수 있는 방법이 무엇이냐, 그리고 신뢰롭고 타당한 측정치를 어떻게 획득할 것이냐가 항상 고민인 것 같습니다.

    좋은 포스팅 잘 보고 갑니다.. ^^

  • Pingback: Tweets that mention 데이타 측정 자체의 문제 - dobiho on HCI -- Topsy.com()

  • Pingback: sun0's Self-Management Note()




Scroll Up