0.05가 표준이 된 과정

Leahey, E. (2005). Alphas and asterisks: The development of statistical significance testing standards in sociology. Social Forces, 84(1), 1-24. 사회학계의 통계적 기준은 어떻게 만들어졌을까? Leahey (2005)는 1935년부터 2000년까지 두 유명 사회학 저널의 논문 1,215편을 분석해 통계적 유의성 검정 표준의 발전 과정을 추적했다. 결과는 놀라웠다. 1935년에는 가설을 검정하는 논문의 31%만이 통계적 유의성 검정을 사용했다. 하지만 1995년에는 91%로 급증했다. 더 흥미로운 건 0.05 유의수준의 확산이었다. 1935년에는 아무도 0.05를 사용하지 않았다. 1945-1950년 사이 급속히 퍼지기 시작해, 1990년대 후반에는 통계검정을 하는 논문의 80% 이상이 0.05 수준을 사용했다. 세 개의 별표 시스템(*p≤.05, **p≤.01, ***p≤.001)은 더욱 최근의 현상이었다. 1950년대에 처음 등장했지만 1970년대 후반까지 거의 사용되지 않았다. 1985년부터 급속히 확산되기 시작했다. 그런데 이런 표준화가 과연 “적합성” 때문이었을까? 그렇지 않을 가능성이 높다. 통계적 유의성 검정을 사용한 496편의 논문 중 확률표집의 가정을 위반한 경우가 절반 이상이었다. 더 심각한 건 전체모집단을 분석하면서도 81%가 유의성 검정을 했다는 점이다. 그렇다면 무엇이 이런 표준화를 이끌었을까? 모방(contagion)이 핵심 동력이었다. 전년도 해당 관행의 사용률이 높을수록 다음 해 사용 확률도 크게 증가했다. 제도적 요인들도 중요했다. 1. 저널 편집자의 영향 2. 대학 지위의 영향 명문대 소속 연구자들이 0.05 수준을 더 많이 사용했다. 3. 컴퓨터 기술의 영향 SPSS와 SAS가 출시되면서 통계검정과 0.05 수준 사용이 급증했다. 복잡한 분석이 쉬워지면서 “유의한” 결과를 찾기도 쉬워졌다. 이 연구가 보여주는 교훈은? 과학적 관행도 사회적 구성물이라는 것이다. 기술적 우수성보다는 모방, 지위, 에디토리얼 정책, 기술 발전이 표준을 만들어냈다.