분석을 돌렸는데 p값이 .07이 나옵니다. 이상치로 보이는 응답자 두 명을 빼 봅니다. .048이 됩니다. 통제변수를 하나 더 넣어 봅니다. .031이 됩니다. 그리고 서론으로 돌아가 가설을 이 결과에 맞게 다시 씁니다. 논문은 깔끔해 보이고, 표절 검사도 통과하고, 아무도 이 과정을 모릅니다.
이 장면에는 두 가지 문제가 겹쳐 있습니다. 유의한 결과가 나올 때까지 분석 선택지를 소진하는 p-해킹, 그리고 결과를 본 뒤에 가설을 만들어 처음부터 그랬던 것처럼 제시하는 HARKing입니다. 둘 다 데이터를 조작한 것이 아니어서 흔적이 남지 않고, 그래서 대학원생이 자기도 모르게 하게 되는 대표적인 문제입니다.
이 글은 두 개념을 정의하고, 국내 규범 체계 안에서 어디에 걸리는지 정리한 뒤, 실제로 자주 벌어지는 여섯 가지 장면을 짚고, 탐색적 분석을 정직하게 보고하는 방법과 사전등록 실무를 안내합니다. 핵심 메시지는 하나입니다. 탐색은 금지되지 않았습니다. 탐색을 확인으로 위장하는 것이 금지되어 있습니다.
두 개념을 정확히 나누어 보기
p-해킹 (p-hacking)
같은 데이터에 대해 분석 방법을 여러 갈래로 시도하면서, 통계적으로 유의한 결과가 나오는 조합을 골라 그것만 보고하는 행위를 말합니다. 핵심은 연구자 자유도입니다. 표본을 어디까지 모을지, 이상치를 어떻게 정의할지, 어떤 변수를 통제할지, 척도를 어떻게 합산할지 같은 선택지가 연구 과정에는 수십 개가 있습니다. 각 선택지에서 결과를 본 뒤 유리한 쪽을 고르면, 실제로는 존재하지 않는 효과를 유의하게 만들 확률이 크게 올라갑니다.
HARKing (Hypothesizing After the Results are Known)
결과를 확인한 뒤에 그 결과에 들어맞는 가설을 세우고, 논문에서는 그 가설을 처음부터 세웠던 것처럼 서론에 배치하는 행위입니다. 데이터도 분석도 손대지 않았지만 서술의 시간 순서가 사실과 다릅니다. 독자는 그 가설이 이론에서 도출되어 검증된 것으로 읽지만, 실제로는 같은 데이터에서 만들어진 것이므로 검증이 이루어지지 않았습니다.
둘의 공통점은 결과가 나온 뒤에 결정을 내린다는 점이고, 차이는 손대는 대상이 분석이냐 서술이냐입니다. 실제 논문에서는 둘이 함께 나타나는 경우가 많습니다. 그리고 두 경우 모두 행위 자체는 연구 과정의 정상적인 작업과 겉으로 구별되지 않습니다. 이상치를 빼는 것도, 가설을 다듬는 것도 원래 해야 하는 일이기 때문입니다. 구별을 만드는 것은 행위가 아니라 그 행위를 언제 결정했는지, 그리고 그 사실을 밝혔는지입니다.
국내 규범 체계에서 어디에 걸리는가
여기서 층위를 정확히 구분해야 합니다. 교육부 훈령 「연구윤리 확보를 위한 지침」 제12조 제1항이 열거하는 연구부정행위 목록에 “p-해킹”이나 “HARKing”이라는 항목은 없습니다. 이 용어들은 국내 법령의 용어가 아니라 방법론 문헌의 용어입니다. 그러나 그렇다고 규범 밖에 있는 것은 아닙니다. 세 갈래로 연결됩니다.
- 변조 조항. 제12조 제1항 제2호는 변조를 “연구 재료·장비·과정 등을 인위적으로 조작하거나 연구 원자료 또는 연구자료를 임의로 변형·삭제함으로써 연구 내용 또는 결과를 왜곡하는 행위”로 정의합니다. 유의성을 얻기 위해 특정 관측치를 삭제하는 행위는 이 정의에 직접 닿습니다. 위조와 변조의 구체적 사례는 연구 데이터 위조·변조·날조(FFP) 가이드에 정리되어 있습니다.
- 포괄 조항. 제12조 제1항 제7호는 “그 밖에 각 학문분야에서 통상적으로 용인되는 범위를 심각하게 벗어나는 행위”를 둡니다. 제13조 제2항은 이 조항을 판단할 때 소속 기관이 금지 행위를 명문으로 정하고 있는지, 또는 해당 학계에 부정한 행위라는 인식이 널리 퍼져 있는지를 고려하라고 합니다. 즉 분야의 관행이 판단 기준으로 들어옵니다. 심리학과 의학처럼 사전등록이 이미 표준이 된 분야에서는 기준이 더 엄격해집니다.
- 연구자의 책임. 제5조 제3호는 연구자가 “사실에 기초한 정직하고 투명한 연구의 진행”을 준수해야 한다고 정합니다. 분석 과정을 숨기는 것은 이 조항의 정신과 정면으로 어긋납니다.
여기에 더해 학술지 정책이라는 층이 따로 있습니다. 다수의 국제 학술지가 투고 시 사전등록 여부와 모든 측정 변수·제외 기준·표본 크기 결정 방식을 명시하도록 요구합니다. 이 요구를 지키지 않은 것은 훈령 위반과는 별개의 문제입니다.
선택지가 많을수록 우연히 유의한 경로가 생깁니다. 문제는 그 경로 하나만 보고하는 것입니다.
자기도 모르게 하고 있는 여섯 장면
- 유의해질 때까지 표본을 더 모은다. 200명을 모아 분석했더니 유의하지 않아 50명을 더 모으고 다시 돌립니다. 표본 크기를 미리 정하지 않고 결과를 보면서 멈추는 시점을 정하면, 그 자체로 1종 오류율이 올라갑니다. 표본 크기는 검정력 분석으로 미리 정하고, 중간 확인이 필요하면 그 절차까지 미리 설계해야 합니다.
- 결과를 본 뒤에 이상치 기준을 정한다. 처음에는 표준편차 3배를 기준으로 삼았다가, 유의하지 않자 2.5배로 바꿉니다. 기준 자체는 어느 쪽도 틀리지 않지만, 결과를 보고 고른 것이 문제입니다. 처리 기준은 분석 전에 정하고, 기준을 바꿔도 결론이 유지되는지 민감도 분석으로 보이십시오. 처리 절차는 결측치·이상치 처리 실전 튜토리얼에 단계별로 나와 있습니다.
- 여러 종속변수 중 유의한 것만 보고한다. 척도를 다섯 개 측정해 놓고 유의한 두 개만 결과 표에 넣습니다. 측정한 변수는 전부 보고하고, 논지에 쓰지 않는 변수는 부록에라도 남기는 것이 원칙입니다.
- 통제변수를 넣었다 뺐다 한다. 어떤 조합에서 계수가 유의해지는지 확인한 뒤 그 모형만 제시합니다. 모형 선택 기준을 먼저 세우고, 주요 대안 모형을 함께 표에 실으십시오.
- 하위집단을 계속 쪼갠다. 전체에서 유의하지 않으니 성별로, 학년별로, 지역별로 나눠 봅니다. 사후 하위집단 분석 자체는 정당한 탐색이지만, 그것을 주된 결과로 제시하면 문제가 됩니다.
- 결과에 맞춰 서론을 다시 쓴다. 가장 흔하고 가장 알아채기 어려운 장면입니다. 예상과 반대 방향의 결과가 나왔을 때 가설을 뒤집어 놓고 “선행연구에 따라 이렇게 예측하였다”고 쓰는 것이 HARKing입니다. 가설을 세우는 올바른 순서는 연구 가설 설정 완전 가이드에 정리되어 있습니다.
탐색적 분석은 금지가 아니다 — 라벨을 붙이면 된다
여기서 오해를 정리해야 합니다. 데이터를 여러 각도로 살펴보는 일은 연구의 정상적이고 필수적인 부분입니다. 새로운 패턴은 대부분 탐색에서 나옵니다. 문제가 되는 것은 탐색의 결과를 확인적 검증의 결과인 것처럼 제시하는 순간입니다.
실무 해법은 놀랄 만큼 단순합니다. 어느 분석이 사전에 계획된 것이고 어느 분석이 사후 탐색인지 논문에 명시하는 것입니다. 예를 들어 결과 절에 이런 식으로 씁니다.
- “가설 1과 2에 대한 검정은 자료 수집 전에 계획된 확인적 분석이다.”
- “성별에 따른 차이는 자료 확인 후 추가로 수행한 탐색적 분석이며, 후속 연구에서 독립 표본으로 검증할 필요가 있다.”
- “이상치 기준은 사전에 표준편차 3배로 정하였으며, 2.5배 기준을 적용한 민감도 분석 결과를 부록에 제시하였다.”
이렇게 쓰는 순간 같은 분석이 부정행위에서 정직한 보고로 바뀝니다. 심사위원도 탐색적 결과를 배척하지 않습니다. 배척되는 것은 탐색을 감춘 서술입니다.
한 가지 더 덧붙이자면, 이 라벨링은 논문의 설득력을 떨어뜨리지 않습니다. 오히려 반대입니다. 사전에 계획한 분석과 사후에 발견한 것을 구분해 쓴 논문은 저자가 자기 자료를 정확히 파악하고 있다는 인상을 줍니다. 반면 모든 결과가 예측대로 나왔다고 서술된 논문은 경험 많은 심사위원에게 오히려 의심을 삽니다. 실제 연구에서 모든 가설이 예상대로 지지되는 일은 드물기 때문입니다. 깨끗해 보이는 결과표보다 정직해 보이는 결과 서술이 더 강합니다. 예상과 어긋난 결과는 고찰에서 대안 설명과 함께 다루면 그 자체로 논문의 기여가 됩니다.
같은 분석이라도 라벨이 붙는 순간 성격이 달라집니다. 감추면 위반이고 밝히면 기여입니다.
사전등록 — 가장 확실한 대비
사전등록은 자료를 보기 전에 가설, 표본 크기, 변수, 분석 계획, 제외 기준을 공개 저장소에 시간 기록과 함께 남겨 두는 절차입니다. 이것을 해 두면 p-해킹과 HARKing 의혹 자체가 성립하지 않습니다. 무엇을 미리 정했는지가 기록으로 남아 있기 때문입니다.
- 무엇을 적는가. 연구 질문과 가설, 표본 크기와 그 근거(검정력 분석), 측정 변수 전체, 제외 기준, 주 분석 방법, 그리고 결과가 예상과 다를 경우의 처리 방침입니다.
- 어디에 남기는가. 사회과학과 심리학에서는 공개 연구 저장소의 사전등록 기능이나 간단한 사전등록 서식이 널리 쓰입니다. 임상연구라면 국내외 임상연구 등록 시스템에 등록하는 것이 학술지 투고의 사실상 요건입니다. 실험 설계 단계에서 사전등록을 넣는 방법은 심리학 논문 실험 설계 튜토리얼에 단계별로 나와 있습니다.
- 학위논문에서는 어떻게 하는가. 공개 저장소가 부담스럽다면 최소한 연구계획서와 지도교수 승인 기록을 날짜와 함께 남겨 두십시오. 심의를 받는 연구라면 심의 신청서에 적은 분석 계획이 이미 사전등록의 역할을 합니다.
사전등록의 진짜 이점은 방어가 아니라 설계입니다. 자료를 모으기 전에 분석 계획을 끝까지 적어 보면, 측정하지 않은 변수와 검정력이 모자라는 설계가 그 자리에서 드러납니다. 데이터를 다 모은 뒤에 발견하는 것보다 훨씬 낫습니다.
이미 결과가 나온 뒤라면
많은 대학원생이 이 글을 읽는 시점에는 이미 분석이 끝나 있습니다. 그때 할 수 있는 정직한 처리가 있습니다.
- 돌린 분석을 전부 적어 본다. 기억나는 모든 시도를 목록으로 만듭니다. 목록이 길수록 결과를 조심스럽게 해석해야 한다는 신호입니다.
- 주 분석을 하나 고르고 이유를 쓴다. 이론적 근거로 고르십시오. p값으로 고르면 그것이 p-해킹입니다.
- 나머지를 민감도 분석으로 제시한다. 다른 기준과 다른 모형에서도 방향이 유지되는지 표로 보이면 오히려 신뢰가 올라갑니다.
- 탐색적 발견은 탐색적이라고 쓴다. 결과 절과 고찰에서 확인적 결과와 구분하고, 후속 검증이 필요하다고 명시합니다.
- 서론을 결과에 맞춰 고치지 않는다. 예상과 다른 결과가 나왔다면 그것을 고찰에서 다루는 것이 정석입니다. 반대 방향 결과는 좋은 논문의 재료이지 감출 대상이 아닙니다.
제출 전 체크리스트
- 표본 크기를 자료 수집 전에 정했는가. 유의성을 보면서 수집을 멈추지는 않았는가.
- 이상치와 결측 처리 기준을 결과 확인 전에 정했는가.
- 측정한 변수를 전부 보고했는가. 유의하지 않아 뺀 변수는 없는가.
- 제시한 모형이 여러 모형 중 결과가 좋은 것을 고른 것은 아닌가.
- 서론의 가설이 자료를 보기 전에 세운 것인가.
- 사후 탐색으로 얻은 결과에 탐색적이라는 표시가 붙어 있는가.
- 주요 판단에 대해 민감도 분석을 제시했는가.
- 사전등록이나 그에 준하는 기록이 남아 있는가.
자주 묻는 질문
p-해킹은 교육부 훈령에서 연구부정행위인가요
훈령 제12조 제1항의 목록에 p-해킹이라는 항목은 없습니다. 다만 유의성을 얻기 위해 원자료를 임의로 변형·삭제하는 행위는 제2호 변조의 정의에 직접 닿고, 그 밖의 경우에도 제7호의 포괄 조항이 적용될 수 있습니다. 제13조 제2항은 이 판단에 소속 기관의 명문 규정과 해당 학계의 인식을 고려하도록 정하고 있습니다.
결과를 보고 가설을 바꾸면 안 되나요
가설을 수정하는 것 자체는 문제가 아닙니다. 문제는 수정한 가설을 처음부터 세웠던 것처럼 서론에 배치하는 것입니다. 결과를 본 뒤 도출한 설명은 고찰에서 새로운 가설로 제시하고, 후속 연구에서 독립 표본으로 검증할 필요가 있다고 밝히면 됩니다.
이상치를 제거하면 p-해킹인가요
제거 자체가 아니라 시점이 판단 기준입니다. 분석 전에 기준을 정해 적용했다면 정상적인 자료 정제이고, 결과를 본 뒤 유의해지도록 기준을 고쳤다면 문제가 됩니다. 기준을 사전에 명시하고 다른 기준에서의 민감도 분석을 함께 제시하십시오.
탐색적 분석을 논문에 실어도 되나요
실어도 됩니다. 다만 확인적 분석과 구분해 탐색적이라고 명시하고, 후속 검증이 필요하다고 밝혀야 합니다. 심사에서 배척되는 것은 탐색적 결과가 아니라 탐색을 감춘 서술입니다.
학위논문에서도 사전등록을 해야 하나요
분야와 학교에 따라 요구 수준이 다릅니다. 공개 저장소 등록이 표준인 분야도 있고 그렇지 않은 분야도 있습니다. 최소한 연구계획서와 지도교수 승인 기록을 날짜와 함께 남기고, 심의를 받는 연구라면 심의 신청서의 분석 계획을 그대로 근거로 삼으십시오.
제출 전 독창성 자가 점검
분석 단계의 진실성은 원고의 서술로 드러납니다. 방법 절과 결과 절의 서술이 실제로 한 일과 일치하는지, 그리고 남의 논문에서 가져온 방법 서술이 출처 없이 섞여 있지는 않은지를 함께 점검하는 것이 좋습니다. Tesify 표절 검사기는 유사도가 높은 구간을 문장 단위로 표시해 주므로, 방법 절의 상용구와 실제 인용이 필요한 문장을 구분해 확인할 수 있습니다. 결과를 꾸미기 위한 도구가 아니라 서술을 정직하게 만들기 위한 도구입니다.
Tesify 표절 검사기로 방법·결과 절 점검하기 — 무료로 가입한 뒤 원고를 올리고, 표시된 구간이 출처가 필요한 문장인지 확인해 보십시오.
정리
p-해킹과 HARKing은 데이터를 조작하지 않고도 결론을 왜곡할 수 있기 때문에 특히 다루기 어렵습니다. 국내 훈령에 그 이름으로 된 조항은 없지만 변조 조항과 포괄 조항, 그리고 연구자의 정직성 의무가 이 문제를 감싸고 있으며, 분야의 관행이 판단 기준으로 들어옵니다. 해법은 분석을 줄이는 것이 아니라 결정의 시점을 앞당기고 그 결정을 기록으로 남기는 것입니다. 자료를 보기 전에 계획을 적고, 계획과 다르게 한 부분을 밝히고, 탐색한 결과에는 탐색이라는 라벨을 붙이십시오. 왜곡된 결과가 어떻게 사후에 정정되고 철회되는지는 논문 철회와 정정 완전 가이드에서, 진실성의 일반 원칙은 연구 진실성의 핵심 원칙에서 이어 확인하십시오.